什么值得买App下载 App ›
连续签到专享现金活动

Agent-PRM解决Agentic RL训练奖励稀疏问题

在 Agentic Reinforcement Learning (RL) 的训练过程中,通常依赖稀疏的 outcome-based reward (ORM)。这种方式采用简单的二元评价机制,即正确给1分,错误给0分。然而,这种粗糙的奖励信号无法有效评估智能体在中间推理步骤的质量,导致训练效率低下,且难以显著提升思考能力。针对这一问题,研究提出了 Agent Reasoning Reward Model (Agent-RRM),旨在通过提供更细粒度的推理反馈信号来优化训练效果。
01核心方法论:Agent-RRM 架构
Agent-RRM 构建了一个多维度的反馈结构,对每一个 Agent 轨迹输出三部分关键信息,以实现对推理过程的深度解构与评价。
  • 内部推理轨迹分析
    用于深入分析逻辑一致性,评估推理链条的连贯性。
  • 针对性批评反馈
    指出具体的错误类型(如“漏了浏览步骤”),提供修正方向。
  • 整体质量分数
    输出0-1分的量化评价,作为综合奖励的参考依据。
02三种反馈集成策略
为了将上述增强的反馈信号有效应用于 Agent 训练,研究设计了三种不同的反馈机制,各自对应不同的交互逻辑与优化目标。
策略名称核心机制训练方式主要作用
Reagent-C纯文本批评反馈基于 Critique 提示重做无需训练即可提升,利用高质量文本批评直接引导行为修正。
Reagent-R数值奖励强化RL 策略更新将 Agent-RRM 分数作为额外奖励,结合规则奖励计算综合奖励。
Reagent-U二次采样反馈归一化双轨迹奖励对比首答与修正后的答案,减少初次错误并学习如何改进。

三种反馈集成策略对比

03实验结果与关键结论
研究在 12 个基准测试中验证了上述方法的有效性。结果显示,Reagent-U 策略表现最优,在多项任务中超越了现有的 8B 开源模型。
BenchmarkReagent-U 表现对比结果
GAIA43.7%超过所有 8B 开源模型
WebWalkerQA46.2%-
Bamboogle76.8%比 baseline 高 11.2%
AIME2460.0%-

关键基准测试成绩

实验分析得出了三项关键发现:Reagent-C 不需要训练即可提升性能,证明了批评文本的高质量;Reagent-R 优于纯规则奖励,验证了密集奖励的有效性;Reagent-U 优于 Reagent-R,说明包含具体信息的文本反馈比单纯的分数更具信息价值。

评论

评论区空态插画

当前文章无评论,是时候发表评论了