什么值得买App下载 App ›
连续签到专享现金活动

英伟达开源Polar框架:代码智能体强化学习门槛大降,单卡也能高效训练

01英伟达开源Polar框架
2026年5月28日,英伟达研究团队正式开源名为Polar的强化学习训练框架。该框架允许现有代码智能体系统(如Codex、Claude Code、Qwen Code和Pi)在不修改原有工具调用逻辑、上下文组织方式及补丁提交流程的前提下,无缝接入GRPO(广义相对策略优化)训练体系。GRPO是一种基于奖励信号调整模型策略的强化学习方法,特别适用于多步决策任务,例如仓库级代码修改、浏览器自动化操作和操作系统交互等长流程场景。Polar的核心创新在于将“模型API边界”作为训练切入点,而非重构整个执行环境,从而显著降低接入成本并保留原生执行细节。123
02技术架构与核心机制
Polar框架采用双组件架构:rollout server负责任务提交、会话调度、状态持久化和回调接收;gateway node则管理会话执行的全生命周期,包括运行时启动、执行框架准备、轨迹构建、结果评测和资源回收。该设计通过在执行框架与模型推理服务器之间插入一个透明代理层,兼容Anthropic、OpenAI、Google等多种主流API请求风格。在请求转发过程中,系统自动记录提示词、采样Token、对数概率及响应内容,并将这些信息重构成可供强化学习训练器消费的轨迹数据。此外,Polar引入独立工作池与READY缓冲区机制,使初始化、运行中和后处理流程可并行执行,有效减少长尾任务对GPU训练的阻塞。456
03性能与效率提升显著
在SWE-Bench Verified基准测试中,基于统一的Qwen3.5-4B底座模型,Polar配合GRPO训练后,各代码智能体框架的pass@1分数均实现显著提升。其中,Codex框架表现最为突出,得分从3.8%跃升至26.4%,增幅达594.74%;Claude Code从29.8%提升至34.6%;Qwen Code从34.6%增至35.2%;Pi框架则从34.2%提高到40.4%。在训练效率方面,Polar采用prefix_merging策略,将单个训练步骤中的更新次数从1185次降至218次,墙钟时间由189.5分钟缩短至35.2分钟,提速约5.39倍。同时,rollout GPU的平均利用率从20.4%大幅提升至87.7%,显著优化了计算资源使用效率。789
04开发者实际影响
Polar框架的开源降低了代码智能体强化学习的门槛,使中小团队乃至个人开发者无需重写现有智能体执行框架即可高效开展训练。由于其非侵入式设计,开发者可直接复用已有的Codex CLI、Claude Code等harness,避免因环境重构导致的关键信号丢失。此外,训练效率的大幅提升意味着在相同算力预算下可完成更多轮次实验,加速模型迭代。据测试,单张消费级GPU(如RTX 4090)即可运行Polar训练流程,进一步推动代码智能体技术向更广泛开发者群体普及。该框架为工业级代码生成、自动化运维等场景提供了高性价比的训练范式。

评论

评论区空态插画

当前文章无评论,是时候发表评论了