Agent-PRM解决Agentic RL训练奖励稀疏问题
在 Agentic Reinforcement Learning (RL) 的训练过程中,通常依赖稀疏的 outcome-based reward (ORM)。这种方式采用简单的二元评价机制,即正确给1分,错误给0分。然而,这种粗糙的奖励信号无法有效评估智能体在中间推理步骤的质量,导致训练效率低下,且难以显著提升思考能力。针对这一问题,研究提出了 Agent Reasoning Reward Model (Agent-RRM),旨在通过提供更细粒度的推理反馈信号来优化训练效果。
01核心方法论:Agent-RRM 架构
Agent-RRM 构建了一个多维度的反馈结构,对每一个 Agent 轨迹输出三部分关键信息,以实现对推理过程的深度解构与评价。
- 内部推理轨迹分析
用于深入分析逻辑一致性,评估推理链条的连贯性。 - 针对性批评反馈
指出具体的错误类型(如“漏了浏览步骤”),提供修正方向。 - 整体质量分数
输出0-1分的量化评价,作为综合奖励的参考依据。
02三种反馈集成策略
为了将上述增强的反馈信号有效应用于 Agent 训练,研究设计了三种不同的反馈机制,各自对应不同的交互逻辑与优化目标。
| 策略名称 | 核心机制 | 训练方式 | 主要作用 |
|---|---|---|---|
| Reagent-C | 纯文本批评反馈 | 基于 Critique 提示重做 | 无需训练即可提升,利用高质量文本批评直接引导行为修正。 |
| Reagent-R | 数值奖励强化 | RL 策略更新 | 将 Agent-RRM 分数作为额外奖励,结合规则奖励计算综合奖励。 |
| Reagent-U | 二次采样反馈 | 归一化双轨迹奖励 | 对比首答与修正后的答案,减少初次错误并学习如何改进。 |
三种反馈集成策略对比
03实验结果与关键结论
研究在 12 个基准测试中验证了上述方法的有效性。结果显示,Reagent-U 策略表现最优,在多项任务中超越了现有的 8B 开源模型。
| Benchmark | Reagent-U 表现 | 对比结果 |
|---|---|---|
| GAIA | 43.7% | 超过所有 8B 开源模型 |
| WebWalkerQA | 46.2% | - |
| Bamboogle | 76.8% | 比 baseline 高 11.2% |
| AIME24 | 60.0% | - |
关键基准测试成绩
实验分析得出了三项关键发现:Reagent-C 不需要训练即可提升性能,证明了批评文本的高质量;Reagent-R 优于纯规则奖励,验证了密集奖励的有效性;Reagent-U 优于 Reagent-R,说明包含具体信息的文本反馈比单纯的分数更具信息价值。
当前文章无评论,是时候发表评论了