什么值得买App下载 App ›
连续签到专享现金活动

(ICLR 2026)ARPO Agent强化学习范式

在基于大模型的智能体强化学习研究中,如何高效利用有限的计算预算进行探索是核心难题。现有的GRPO和DAPO范式倾向于将探索预算均匀分配在整条轨迹上,即在起点采样完整路径。然而,Agent在工具调用后的关键决策点往往只有一条路径经过,导致在真正需要多方向尝试的时刻缺乏针对性探索。针对这一问题,ARPO(Agentic Reinforced Policy Optimization)提出了一种自适应解决方案,旨在通过识别高不确定性节点,将探索资源集中在最需要的地方。
01核心逻辑:从均匀撒网到精准聚焦
ARPO范式的核心在于改变探索资源的分配策略。研究发现,LLM在收到工具反馈后的前10-50个token,其熵值会显著升高。熵值升高意味着模型的不确定性增加,这正是需要进行深度探索的信号。基于此,ARPO不再进行全程均匀探索,而是将计算预算集中在这些“关键时刻”。

探索策略对比

传统范式 (GRPO/DAPO)

均匀分配探索预算

  • 仅在起点采样完整路径
  • 探索预算分散在整条轨迹
  • 关键决策点缺乏针对性探索
ARPO 新范式

高熵节点自适应探索

  • 监控工具调用后的熵变化
  • 在高不确定性节点分支采样
  • 非关键节点共享前缀节省预算
02核心方法:三项关键技术突破
  • 熵自适应Rollout
    系统全局采样N条完整轨迹后,实时监控工具调用后的熵变化ΔH_t。针对高熵节点,按概率P_t=α+β·ΔH_t进行分支采样,生成Z条新路径。通过控制总分支数M-N,在节省工具调用预算的同时,实现对关键步骤的精准探索。
  • 优势归因估计
    采用更稳定的软估计方法,利用GRPO重要性采样比率隐式区分共享token与独立token。由于共享前缀token在不同轨迹中的策略比率相同,梯度更新将自然受组内平均优势引导,避免了硬估计带来的波动。
  • GPG广义策略梯度定理
    从理论层面证明,在工具调用边界分割进行部分rollout并不违反策略梯度的无偏性。这一发现为宏动作级采样提供了坚实的理论支撑,确保了方法的有效性。
03实验结果:性能与效率的双重提升
模型/方法数学+知识推理 (Avg)GAIA (深度搜索)工具调用效率
DAPO54.8%-基准
GRPO56.5%36.9%100% 预算
ARPO (Qwen2.5-7B)58.3%-~50% 预算
ARPO (14B)-43.7%~50% 预算

主要基准测试结果对比

在数学与知识推理的10个数据集平均测试中,Qwen2.5-7B模型采用ARPO后达到58.3%的准确率,超过GRPO的56.5%和DAPO的54.8%。在深度搜索基准GAIA上,14B的ARPO模型得分43.7%,显著优于GRPO的36.9%,甚至超越了更大参数的DeepSeek-R1-32B(21.4%)和GPT-4o(17.5%)。值得注意的是,ARPO在实现性能提升的同时,仅使用了GRPO约50%的工具调用预算。此外,在Pass@5指标上,ARPO在GAIA达到61.2%,HLE达到24.0%,XBench-DR达到59.0%。
04总结与局限
ARPO验证了“在对的地方探索”比“探索更多”更有效。通过利用模型自身产生的高熵信号作为导航,Agent能够在工具反馈后的关键时刻集中资源,而在确定阶段共享计算。然而,该方法目前仍存在一定局限:熵高即需要探索的假设在校准较差的模型上可能失效;目前仅在工具调用场景下进行了验证;超参数仍需手动调节,尚未实现完全自适应;软估计的理论保证仅为一阶近似。

评论

评论区空态插画

当前文章无评论,是时候发表评论了