通义研究团队开源了性能超越OpenAI的同类型Web Agent——通义DeepResearch,并首次系统性分享了其高阶Agent的全栈构建方法论。这份从数据合成到强化学习的完整实践,为AI社区提供了宝贵的、可落地的技术参考,解决了复杂Agent训练中的核心难题。
智能速览
通义DeepResearch在多项权威基准测试中取得SOTA成绩,系统超越所有开源及闭源竞品。
团队开源了包含数据合成、Agentic持续预训练、有监督微调和强化学习的全套构建流程。
提出AgentFounder数据合成方案与IterResearch推理范式,解决数据与认知瓶颈问题。
采用创新的GRPO强化学习算法,配合高稳定性基础设施,确保Agent高效自我进化。
模型支持原生ReAct与深度模式两种部署范式,兼顾通用性与复杂任务处理能力。
精华内容
通义DeepResearch的卓越性能并非偶然,其背后是一套完整且创新的训练范式。这套方法论从数据源头开始,贯穿模型训练始终,最终形成了强大的推理与规划能力。
海量数据合成
通义团队的核心突破之一是创建了一个全自动化的数据合成引擎,无需人工干预即可构建超越人类质量的数据集。该方案被称为AgentFounder,它利用多阶段数据策略,将文档、知识图谱等异构数据源重构为开放世界知识记忆。
通过随机采样实体与知识,系统能生成多样化的问答对,并构建从一阶到高阶的动作合成数据。该方法能够大规模、全面地探索推理-动作空间,无需依赖昂贵的商业工具API。
为确保数据质量与难度,团队还开发了基于知识图谱的流程,通过策略性地混淆信息来增加问题难度,并利用集合论进行形式化建模,系统提升推理挑战。这解决了信息搜索合成数据难以验证的挑战。
端到端训练法
为了系统性地训练高阶Agent,通义团队建立了一种全新的端到端训练范式,将Agentic CPT、Agentic SFT和Agentic RL三个阶段无缝衔接。
首先是Agentic持续预训练(CPT),这一步旨在为模型注入基础的工具使用与交互能力,创建强大的Agent基础模型。随后,通过有监督微调(SFT)进行冷启动,利用高质量的专家示范数据,让模型快速掌握解决任务的初步模式。
这个链条式的流程确保了模型能力从基础到高级的稳步构建,为最终的强化学习阶段奠定了坚实的基础。
强化学习实践
在强化学习(RL)阶段,团队采用了定制的组相对策略优化(GRPO)算法,并取得了多项突破。通过严格的在线策略训练和留一法策略,有效降低了优势估计的方差,确保了学习信号的准确性。
一个关键发现是,数据和训练环境的稳定性是RL成功的决定性因素。团队发现,使用分布一致的合成数据进行训练,效果远优于包含噪声的人工标注数据。这为更复杂的Agent训练提供了重要启示:稳定的系统性输入比算法技巧更为关键。
此外,通过选择性排除无效的负样本,团队成功避免了“格式崩溃”现象,保证了训练的长期稳定。
深度推理模式
通义DeepResearch支持两种推理范式:简单的ReAct模式与创新的深度模式。ReAct模式遵循“思考-行动-观察”循环,其通用性与可扩展性清晰展现了模型的内在能力。
为解决复杂任务中的“认知瓶颈”,团队提出了IterResearch范式。它将长时任务解构为多个“研究轮次”,在每一轮中,Agent仅基于上一轮的核心发现重建精简工作空间,进行分析与整合,再决定下一步行动。
这种“综合与重构”的迭代过程,使Agent在长期研究中保持清晰的认知焦点。团队还进一步提出“研究-合成”框架,让多个Agent并行探索并整合结论,将性能推向极限。
通义DeepResearch的开源,不仅提供了一个性能顶尖的模型,更公开了一套可复现的、系统性的高阶Agent构建蓝图。它的价值在于,将前沿AI研究从“黑盒”变为“白盒”,极大地降低了行业探索门槛。未来,基于这套方法论,我们能期待涌现出更多解决复杂现实问题的智能体。