扩散语言模型虽因并行解码大幅提升生成速度,被视为解决智能体推理成本高的突破口,但最新评测显示其在智能体任务上表现惨淡。本文深入剖析扩散模型在长链推理和工具调用中的系统性缺陷,揭示速度与能力难以兼得的残酷真相,为AI研究提供关键参考。
智能速览
扩散语言模型虽提升速度,但在智能体任务上显著落后于同规模自回归模型。
扩散模型因缺乏因果推理能力,在具身智能任务中易陷入重复操作循环。
在工具调用场景,扩散模型难以输出规范格式,多轮任务完成率极低。
扩散模型擅长静态任务如文本总结和状态提取,弱于动态推理和格式修正。
研究提出DiffuAgent框架,建议将扩散模型应用于记忆和自验证等辅助模块。
精华内容
南洋理工大学联合多机构发布的评测报告,通过具身智能体和工具调用两大场景实验,揭示了扩散模型在实际应用中的性能瓶颈。
长链推理表现差
在具身智能任务测试中,扩散模型成功率和任务进度均显著低于自回归模型,部分任务甚至无正确样例。分析表明,扩散模型难以进行因果推理,常陷入重复性操作循环,无法像自回归模型那样进行实时反思。
工具调用精度低
在伯克利函数调用基准评估中,扩散模型在单轮及多轮工具调用中均落后。尤其在多轮任务里,几乎无法完成完整调用工作流。并行解码导致输出格式不规范、语义模糊,在结构化输出要求高的场景下表现极差。
速度不等于能力
研究发现扩散模型的高吞吐量并未转化为更强的智能体能力。并行解码机制在追求效率的同时,削弱了模型的因果推理能力,降低了输出精确度,揭示了生成效率与智能水平之间的矛盾。
适用模块定位
评测框架DiffuAgent显示,扩散模型在记忆和自验证等静态任务上表现优异甚至优于自回归模型,但在工具调用等需精确格式的动态任务上短板明显。这表明扩散模型更适合作为辅助模块处理静态信息。
这项研究不仅指出了扩散语言模型在智能体应用中的局限,更为未来模型研发指明了方向:发挥并行解码优势的同时,需补足因果推理短板,寻找速度与能力的最佳平衡点。