什么值得买App下载 App ›
连续签到专享现金活动

AgenticRL太慢怎么办?NVDA:挑关键点足够啦

在长周期智能体(Agent)任务的大模型微调过程中,研究人员常面临算力成本与模型泛化能力的两难选择。传统的监督微调(SFT)虽然算力需求较低,但往往导致模型在分布外(OOD)场景下的表现急剧下降;而端到端强化学习(E2E RL)虽能保持泛化能力并提升上限,却需要几十轮的环境交互,计算成本极其高昂。针对这一痛点,NVIDIA与UC Berkeley联合提出了PivotRL框架,旨在通过技术创新实现低算力成本、高任务精度与零OOD掉分的平衡。
01核心机制:关键点筛选与功能等效奖励
PivotRL的核心在于摒弃全链路的长周期Rollout,转而专注于SFT轨迹中具有学习价值的“关键转折点”。其技术实现主要包含两个创新点。
  1. Pivot Filtering(关键点筛选)
    通过“探路+过滤”机制挖掘中间状态节点。筛选标准基于两个维度:一是经验方差大于0,即排除模型全对(太简单)或全错(太难)的样本,聚焦于模型表现不稳定的节点;二是胜率低于阈值,将计算资源集中于模型当前依然感到困难的样本。这种“困难样本挖掘”策略极大地提高了训练效率。
  2. Functional Reward(功能等效奖励)
    引入领域验证器,只要模型的动作(如工具调用、搜索Query)在功能上是等效的,就给予正向奖励。这一机制不再拘泥于具体的输出形式,而是关注实际执行效果,增强了模型在复杂环境下的适应能力。
02实验成效:性能提升与成本优化
在对话工具、代码、终端控制、网页浏览等四个Agent领域的测试中,PivotRL展现了显著优势。与传统的端到端强化学习相比,该框架在保持高精度的同时,大幅削减了计算开销。
评估维度传统SFTPivotRL
本职任务准确率基准水平+4.17%
OOD任务表现(如数学、科学QA)平均暴跌9.83分平均变化+0.21%(能力无损)
算力成本(以SWE-Bench为例)基准水平Rollout交互轮数减少4倍,训练时间缩短5.5倍

PivotRL与传统SFT在关键指标上的对比

部分用户反馈也印证了算力优化的必要性。在算法社区中,常有观点认为,在预算有限的情况下,如何高效利用RL进行智能体训练是目前的最大瓶颈之一。PivotRL通过降低交互轮数,直接回应了这一关切。
03应用价值与总结
PivotRL成功结合了SFT的数据效率和RL的泛化能力,目前该技术已应用于英伟达Nemotron生产级Agent大模型的后训练中。对于致力于Agent微调、RLHF研究以及受限于算力经费的开发团队,该框架提供了一种兼顾效果与成本的可落地解决方案。

评论

评论区空态插画

当前文章无评论,是时候发表评论了