张大妈

Kimi2.5技术报告发布,agent+多模态+sota?

源自小红薯:AIGCHUB

02-10 15:07

Kimi K2.5 技术报告展示了 AI 架构的新维度,其 Agent Swarm 架构通过多线程并发打破串行瓶颈,大幅降低推理延迟。同时,报告提出的反直觉训练配方和跨模态协同机制,重新定义了多模态模型的训练路径,为行业提供了极具价值的技术参考。

Kimi2.5技术报告发布,agent+多模态+sota?智能速览

  • 引入Agent Swarm架构,主Agent指挥Sub-agents并行工作

  • 推理延迟降低4.5倍,广度搜索任务F1分数显著提升

  • 采用Early Fusion策略,早期引入少量视觉数据效果更佳

  • Zero-Vision SFT揭示纯文本数据能激活模型视觉工具使用能力

  • 视觉RL训练反哺逻辑能力,提升纯文本基准测试分数

  • Toggle策略优化Token效率,输出长度减少25%-30%

Kimi2.5技术报告发布,agent+多模态+sota?精华内容

Kimi K2.5 的技术报告展示了 Infra 层的创新如何决定落地能力,从并发架构到训练配方,每项突破都直指当前大模型的核心痛点。

Agent并发架构

传统的 Agent 串行思考模式在处理复杂任务时速度慢且易遗忘。Kimi K2.5 引入了 Agent Swarm 架构,由主 Agent(Orchestrator)指挥多个冻结权重的 Sub-agents 并行工作。实测数据显示,这种并发机制使推理延迟降低了 4.5 倍,在广度搜索任务上 F1 分数提升显著。它甚至能分析 40GB 的长视频并生成时间轴,证明了并发架构的实战价值。

反直觉训练法

报告披露了反常识的训练发现。首先是 Early Fusion 策略优于 Late Fusion,在早期引入仅占 10% 比例的视觉数据,效果优于后期堆量。其次是 Zero-Vision SFT,在 SFT 阶段仅使用纯文本数据,竟能激活模型的视觉工具使用能力,而加入人工设计的视觉轨迹数据反而会破坏泛化性,这颠覆了传统认知。

视觉反哺逻辑

视觉能力的训练不再仅仅是增加感知维度,反而能提升逻辑能力。实验表明,进行视觉 RL(Visual RL)训练,能够提升 MMLU-Pro 等纯文本基准的分数 1.7%。这说明高质量的跨模态对齐能让模型更聪明,视觉不再仅仅是累赘,而是成为了增强逻辑推理能力的磨刀石。

拒绝废话输出

针对 RL 训练导致模型输出变长的问题,Kimi 设计了 Toggle 策略。该策略在训练中随机切换“预算限制模式”和“标准扩展模式”,成功防止了 Length Overfitting。结果是在保持性能领先的前提下,模型的输出长度减少了 25-30%,显著降低了计算成本并提升了信息密度。

Kimi K2.5 的技术报告揭示了 Scaling Laws 的新方向,即通过架构创新和精细化训练配方来实现能力跃升。Agent Swarm 架构和反直觉的训练方法,为解决多模态大模型的效率和性能瓶颈提供了全新思路。这不仅是技术上的迭代,更是对 AI 发展路径的一次深刻反思与重构。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章