具身智能发展面临“渲训推一体化”带来的算力与显存挑战。清华大学等机构联合开源的RLinf框架，通过创新的混合执行模式和系统设计，有效解决了这一痛点，大幅提升了训练效率与模型性能，为具身智能的规模化发展提供了基础设施支持。
智能速览
RLinf是首个面向具身智能“渲训推一体化”的开源强化学习框架。
创新混合执行模式，在具身训练中实现超120%的系统提速。
提出M2Flow机制，兼顾编程灵活性与底层执行效率。
集成自适应通信与自动化调度，实现计算资源高效利用。
不仅支持具身任务，训练的数学推理模型也达到SOTA性能。
精华内容
具身智能被视为AI的下一站，但其“渲训推一体化”特性对现有RL框架构成挑战。RLinf应运而生，通过系统级创新，为这一前沿领域提供了强大的基础设施。
具身智能的算力瓶颈
具身智能融合了大模型的推理与物理世界的交互，其独特的“渲训推一体化”属性带来了新的技术难题。与纯大脑的推理模型不同，具身智能体需要大脑（长程规划）与小脑（短程操作）协同工作，并在训练过程中频繁与GPU加速的物理仿真器交互。
这种交互导致模型（Actor）和仿真器在GPU上产生严重的算力与显存竞争。当前主流框架采用的共享式或分离式执行模式，在此场景下要么切换开销巨大，要么资源闲置率高，无法高效支撑具身智能的研发。
混合执行模式的突破
针对现有执行模式的局限，RLinf提出了创新的混合式执行模式。该模式结合了分离式和共享式的优点，通过细粒度的流水线设计，让不同组件在GPU上时分复用，几乎消除了系统气泡。
实测数据表明，在典型的具身智能仿真环境Maniskill3中，RLinf的混合模式相比其他框架的分离式模式，系统效率提升超过120%。对于OpenVLA等视觉-语言-动作模型（VLA），训练后的任务成功率提升了40%-60%。
M2Flow核心机制
实现一套代码支持多种执行模式且不降低编程灵活性的关键，在于RLinf提出的宏工作流到微执行流映射机制（M2Flow）。该机制允许用户以过程式编程的方式，像写普通代码一样构建复杂的训练流程，将不同组件封装成Worker。
M2Flow能够在底层将这个过程式的流程自动映射到最优的执行模式上，兼具了过程式编程的易用性和声明式编程的编译优化能力，让开发者无需深入系统底层即可享受性能红利。
系统级优化设计
除了核心执行模式，RLinf还集成了多项系统级优化。其自适应通信库包含自适应CUDAIPC/NCCL、负载均衡队列等技术，根据硬件和网络状况自动选择最优通信方案，保障了大规模分布式训练的效率。
此外，自动化调度模块能够分析用户训练流和计算资源，自动选择最优的资源配置方案，并集成了“秒级在线扩缩容”能力，70B模型可在1秒内完成动态扩缩，远快于传统方案的十几秒。
性能实测与应用
RLinf在具身智能和通用推理领域均展现出强大性能。在具身任务上，OpenVLA-OFT模型经RLinf训练后，在LIBERO测试集上的平均成功率达到97.3%，相比监督微调（SFT）模型提升62.4%。团队还率先实现了对Pi 0模型的大规模强化学习微调。
在通用领域，使用RLinf训练的1.5B和7B数学推理模型，在AIME24、AIME25和GPQA-diamond三个权威数据集上均取得了当前最优（SOTA）性能，证明了其高度的通用性和可扩展性。
