深入剖析 Kimi K2.5 的技术报告，揭示其在视频处理、模型架构和训练策略上的核心创新。笔记提炼了 MoonViT-3D 的高效视频编码、MoE 的大规模应用以及独特的多智能体强化学习系统，为理解下一代多模态大模型提供了前沿视角。
智能速览
MoonViT-3D 架构通过时空块设计，将视频处理效率提升4倍。
模型采用1.04T参数的MoE架构，每个token仅激活8个专家。
探索了基于规则的奖励系统与多模态联合强化学习。
通过zero-vision训练激活了模型的“think with image”能力。
引入了“agent swarm”概念并探索多智能体并行训练策略。
精华内容
Kimi K2.5 的技术探索远不止于参数规模的堆叠，其创新的架构设计与训练方法，尤其是对多模态和智能体能力的融合，预示着大模型发展的新方向。
高效视频处理
K2.5 采用了创新的 MoonViT-3D 视觉编码器。其核心在于将连续的 4 帧视频打包成一个“时空块”，通过统一的注意力机制同步处理空间与时间信息。
在进入投影层前，模型对时间维度进行了 4 倍的压缩。这种设计使得在相同的上下文窗口下，模型能够处理的视频长度达到了原来的 4 倍，显著提升了视频信息的处理效率与容量。
MoE与模型优化
作为语言模型核心，K2.5 采用了总参数量达 1.04T 的 K2 MoE 架构，共包含 384 个专家，但在处理每个 token 时仅激活其中的 8 个。
这种稀疏激活模式在保证模型强大能力的同时，有效控制了计算成本。此外，模型还应用了 MuonClip 和 QK-Clip 等技术进一步优化性能和稳定性。
独特的训练范式
K2.5 的训练策略颇具亮点。在后训练阶段，报告强调了原生多模态训练的重要性，并探索将大模型的智能体能力集成到视觉任务中，通过“coding”的方式实现“think with image”。
更引人注目的是，其设计了文本与图像的联合强化学习（RL），并定义了“agent swarm”系统。在 RL 阶段，它甚至探索了多智能体并行的训练策略，这为构建更复杂的协作式 AI 系统提供了新思路。
Kimi K2.5 的技术报告笔记，不仅展示了其在多模态领域的硬核实力，更揭示了从高效编码到智能体训练的创新路径。这些探索，尤其是对 Rubric Reward 和 Agent Swarm 的尝试，为未来 AI 的发展提供了宝贵的参考。多模态模型的下一个突破点会在哪里？
