阿里 Tree-GRPO 来袭！LLM 智能体训练成本大降 #青稞社区 #阿里 #论文 #大模型 #agent

大模型智能体的训练常面临成本高昂与监督稀疏的挑战。一项名为Tree-GRPO的新技术，通过树结构采样与分组优势估计，有效解决了这一难题。它不仅能大幅降低训练成本，还能让小模型掌握复杂的多轮任务，为AI智能体的发展提供了新的高效路径。

智能速览

• Tree-GRPO是一种针对大模型智能体的强化学习方法。

• 它通过树结构采样提升样本利用率，降低令牌成本。

• 该方法能基于最终结果奖励，反向传播构建过程监督信号。

• 在11类数据集上，Tree-GRPO全面超越了主流的链状训练方法。

• 仅需四分之一计算预算，即可让小模型学会复杂工具交互。

精华内容

Tree-GRPO的核心在于其独特的树状思维，它如何将传统链式训练的劣势转化为优势？其关键技术细节揭示了训练效率飞跃的秘密。

树状采样提效

传统链式训练方法在多轮任务中效率低下，而Tree-GRPO采用树状结构进行采样。它将智能体的思考、行动和观察作为节点，共享已走过的轨迹，使得在同等预算下，采样效率提升了1.5倍。这种结构显著减少了不必要的工具调用和令牌消耗，直接降低了训练成本。

稀疏监督破局

在多轮任务中，往往只有最终结果有奖励信号，中间过程的监督极其稀疏。Tree-GRPO创新性地解决了这一问题，它仅依据最终的结果奖励，通过树的分支反向传播，为每一个中间步骤构建起偏好信号。这种机制相当于在树状结构中实现了一种多维度的DPO（直接偏好优化），让智能体能在稀疏监督下高效学习。

分组优势估计

为确保训练的稳定性和效果，Tree-GRPO引入了分组优势估计。该方法同时考量了树状结构内（竖内）和树状结构间（竖间）的相对优势，从而更精准地捕捉学习偏好。得益于此设计，Tree-GRPO在11个不同的数据集上全面超越了GRPO和GSPO等链状方法，在QN2.5-1.5B模型上性能提升高达69%。

关键价值体现

Tree-GRPO的实际价值体现在两大方面。首先是极致的效率，它仅需传统链状方法四分之一的计算预算，就能达到甚至超越其训练效果。其次是强大的赋能作用，它使得参数小于3B的小模型也能成功学会复杂的多轮工具交互，极大地降低了高性能智能体的开发门槛。

Tree-GRPO为昂贵的大模型智能体训练提供了一条经济高效的捷径，其降低门槛、提升性能的特性预示着更智能、更普及的AI应用时代到来。未来，这项技术将如何赋能更多垂直领域，值得我们持续关注。