英伟达开源Polar框架:代码智能体强化学习门槛大降,单卡也能高效训练
01英伟达开源Polar框架
02技术架构与核心机制
Polar框架采用双组件架构:rollout server负责任务提交、会话调度、状态持久化和回调接收;gateway node则管理会话执行的全生命周期,包括运行时启动、执行框架准备、轨迹构建、结果评测和资源回收。该设计通过在执行框架与模型推理服务器之间插入一个透明代理层,兼容Anthropic、OpenAI、Google等多种主流API请求风格。在请求转发过程中,系统自动记录提示词、采样Token、对数概率及响应内容,并将这些信息重构成可供强化学习训练器消费的轨迹数据。此外,Polar引入独立工作池与READY缓冲区机制,使初始化、运行中和后处理流程可并行执行,有效减少长尾任务对GPU训练的阻塞。456
03性能与效率提升显著
在SWE-Bench Verified基准测试中,基于统一的Qwen3.5-4B底座模型,Polar配合GRPO训练后,各代码智能体框架的pass@1分数均实现显著提升。其中,Codex框架表现最为突出,得分从3.8%跃升至26.4%,增幅达594.74%;Claude Code从29.8%提升至34.6%;Qwen Code从34.6%增至35.2%;Pi框架则从34.2%提高到40.4%。在训练效率方面,Polar采用prefix_merging策略,将单个训练步骤中的更新次数从1185次降至218次,墙钟时间由189.5分钟缩短至35.2分钟,提速约5.39倍。同时,rollout GPU的平均利用率从20.4%大幅提升至87.7%,显著优化了计算资源使用效率。789
04开发者实际影响
Polar框架的开源降低了代码智能体强化学习的门槛,使中小团队乃至个人开发者无需重写现有智能体执行框架即可高效开展训练。由于其非侵入式设计,开发者可直接复用已有的Codex CLI、Claude Code等harness,避免因环境重构导致的关键信号丢失。此外,训练效率的大幅提升意味着在相同算力预算下可完成更多轮次实验,加速模型迭代。据测试,单张消费级GPU(如RTX 4090)即可运行Polar训练流程,进一步推动代码智能体技术向更广泛开发者群体普及。该框架为工业级代码生成、自动化运维等场景提供了高性价比的训练范式。
当前文章无评论,是时候发表评论了