张大妈

华为发布业界首个扩散语言模型Agent,部分场景提速8倍!

源自知乎:量子位

02-13 12:20

华为联合多所顶尖研究机构发布业界首个扩散语言模型Agent,在完全相同的技术框架下,仅通过改变生成范式就在部分场景实现8倍效率提升。这项研究为Agent技术发展提供了全新思路。

华为发布业界首个扩散语言模型Agent,部分场景提速8倍!智能速览

  • DLLM Agent在准确率持平的情况下,执行效率提升30%以上

  • 复杂任务中展现出8倍于传统自回归模型的效率

  • 扩散模型通过两阶段规划展现出更优的任务分解能力

  • 生成范式的改变深刻影响Agent的行为模式

  • DLLM在结构化输出方面仍需进一步优化

华为发布业界首个扩散语言模型Agent,部分场景提速8倍!精华内容

这项研究通过严格的对照实验,揭示了生成范式对Agent性能的系统性影响,为构建更高效的AI Agent开辟了新路径。

实验设计

研究团队构建了严格的对照实验平台,采用openpangu 7b-v1作为自回归模型基准,并基于相同数据续训得到openpangu diffusion 7b扩散模型。通过统一的Agent工作流、训练数据和交互预算,确保实验结果的公平性和可比性。

性能表现

在BrowseComp-zh基准测试的110条任务中,DLLM Agent展现出显著优势。数据显示,在准确率持平的情况下,DLLM Agent平均使用更少的工具调用次数和交互轮次,端到端效率提升超过30%。

典型案例

在一个涉及动物命名、中国互联网公司、团队合并等多维度的复杂检索案例中,DLLM Agent展现出8.18倍的速度优势。这种效率差异主要源于其更高质量的规划能力,能够以更直接的路径完成任务。

原理分析

DLLM Planner表现出两阶段特征:首先并行提取关键信息,然后逐步细化任务结构。这种方式避免了AR模型常见的冗余规划问题,在工具调用阶段也展现出更稳定的结构化生成能力。

技术挑战

尽管DLLM Agent表现出色,但研究也发现其在结构化输出方面存在敏感性。通过设计训推一致的Mask策略和Attention策略,可以有效提升DLLM Agent的推理性能。

这项研究证明了生成范式对Agent行为的深远影响,为Agent技术发展提供了新的设计维度。随着扩散模型在Agent场景的持续优化,有望看到更多突破性的效率提升,这或将重新定义AI Agent的未来发展方向。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章