张大妈

通义DeepResearch全面开源!同步分享可落地的高阶Agent构建方法论

源自知乎:魔搭社区

03-02 17:22

通义研究团队开源了性能超越OpenAI的同类型Web Agent——通义DeepResearch,并首次系统性分享了其高阶Agent的全栈构建方法论。这份从数据合成到强化学习的完整实践,为AI社区提供了宝贵的、可落地的技术参考,解决了复杂Agent训练中的核心难题。

通义DeepResearch全面开源!同步分享可落地的高阶Agent构建方法论智能速览

  • 通义DeepResearch在多项权威基准测试中取得SOTA成绩,系统超越所有开源及闭源竞品。

  • 团队开源了包含数据合成、Agentic持续预训练、有监督微调和强化学习的全套构建流程。

  • 提出AgentFounder数据合成方案与IterResearch推理范式,解决数据与认知瓶颈问题。

  • 采用创新的GRPO强化学习算法,配合高稳定性基础设施,确保Agent高效自我进化。

  • 模型支持原生ReAct与深度模式两种部署范式,兼顾通用性与复杂任务处理能力。

通义DeepResearch全面开源!同步分享可落地的高阶Agent构建方法论精华内容

通义DeepResearch的卓越性能并非偶然,其背后是一套完整且创新的训练范式。这套方法论从数据源头开始,贯穿模型训练始终,最终形成了强大的推理与规划能力。

海量数据合成

通义团队的核心突破之一是创建了一个全自动化的数据合成引擎,无需人工干预即可构建超越人类质量的数据集。该方案被称为AgentFounder,它利用多阶段数据策略,将文档、知识图谱等异构数据源重构为开放世界知识记忆。

通过随机采样实体与知识,系统能生成多样化的问答对,并构建从一阶到高阶的动作合成数据。该方法能够大规模、全面地探索推理-动作空间,无需依赖昂贵的商业工具API。

为确保数据质量与难度,团队还开发了基于知识图谱的流程,通过策略性地混淆信息来增加问题难度,并利用集合论进行形式化建模,系统提升推理挑战。这解决了信息搜索合成数据难以验证的挑战。

端到端训练法

为了系统性地训练高阶Agent,通义团队建立了一种全新的端到端训练范式,将Agentic CPT、Agentic SFT和Agentic RL三个阶段无缝衔接。

首先是Agentic持续预训练(CPT),这一步旨在为模型注入基础的工具使用与交互能力,创建强大的Agent基础模型。随后,通过有监督微调(SFT)进行冷启动,利用高质量的专家示范数据,让模型快速掌握解决任务的初步模式。

这个链条式的流程确保了模型能力从基础到高级的稳步构建,为最终的强化学习阶段奠定了坚实的基础。

强化学习实践

在强化学习(RL)阶段,团队采用了定制的组相对策略优化(GRPO)算法,并取得了多项突破。通过严格的在线策略训练和留一法策略,有效降低了优势估计的方差,确保了学习信号的准确性。

一个关键发现是,数据和训练环境的稳定性是RL成功的决定性因素。团队发现,使用分布一致的合成数据进行训练,效果远优于包含噪声的人工标注数据。这为更复杂的Agent训练提供了重要启示:稳定的系统性输入比算法技巧更为关键。

此外,通过选择性排除无效的负样本,团队成功避免了“格式崩溃”现象,保证了训练的长期稳定。

深度推理模式

通义DeepResearch支持两种推理范式:简单的ReAct模式与创新的深度模式。ReAct模式遵循“思考-行动-观察”循环,其通用性与可扩展性清晰展现了模型的内在能力。

为解决复杂任务中的“认知瓶颈”,团队提出了IterResearch范式。它将长时任务解构为多个“研究轮次”,在每一轮中,Agent仅基于上一轮的核心发现重建精简工作空间,进行分析与整合,再决定下一步行动。

这种“综合与重构”的迭代过程,使Agent在长期研究中保持清晰的认知焦点。团队还进一步提出“研究-合成”框架,让多个Agent并行探索并整合结论,将性能推向极限。

通义DeepResearch的开源,不仅提供了一个性能顶尖的模型,更公开了一套可复现的、系统性的高阶Agent构建蓝图。它的价值在于,将前沿AI研究从“黑盒”变为“白盒”,极大地降低了行业探索门槛。未来,基于这套方法论,我们能期待涌现出更多解决复杂现实问题的智能体。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章