在机器人视觉-语言-动作（VLA）领域，如何让流式模型更好地利用强化学习（RL）进行在线优化，一直是个核心难题。现有方案要么依赖昂贵且泛化性弱的监督微调（SFT），要么无法将RL的环境交互优势融入流式模型。来自清华大学的πRL框架，通过创新的Flow-Noise与Flow-SDE算法，成功打破了这一僵局，让机器人实现了高效的“边学边做”，性能与泛化能力均获得突破。
智能速览
πRL框架首次破解了流式VLA模型的强化学习适配难题。
其核心是Flow-Noise与Flow-SDE两种互补算法，攻克了两大核心障碍。
Flow-Noise将去噪过程建模为离散MDP，解决了动作对数似然难计算的问题。
Flow-SDE通过引入随机性，增强了模型在去噪过程中的探索能力。
在LIBERO基准测试中，πRL将单次SFT性能从43.9%提升至94.0%。
精华内容
当前流式VLA模型训练陷入依赖SFT数据却泛化能力弱、想用RL优化却无法适配的“两难困境”。πRL方案没有回避问题，而是直面流式模型的去噪特性，通过巧妙的算法设计，将RL的在线优化能力成功融入其中。
攻克适配瓶颈
流式VLA模型虽具备高频动作生成和高灵巧性优势，但其强化学习（RL）适配存在两大根本障碍：一是迭代去噪过程导致动作的对数似然难以计算，二是确定性ODE路径缺乏探索性。这使得RL无法发挥其环境交互优化的核心优势。
πRL提出两种互补算法，即Flow-Noise和Flow-SDE，直面而非回避这些特性，旨在将去噪过程本身转化为RL可利用的优势，从而打通流式模型与在线优化的通道。
双算法并行
Flow-Noise算法的核心在于将流式模型的去噪过程重新建模为一个离散时间的马尔可夫决策过程（MDP）。它通过一个可学习的噪声网络注入随机性，不仅解决了探索性不足的问题，还让动作对数似然的计算成为可能。
Flow-SDE则另辟蹊径，将确定性的常微分方程（ODE）去噪过程转化为一个随机的随机微分方程（SDE）。通过构建一个双层MDP结构来耦合去噪过程与机器人环境交互，它在保证探索性的同时，显著提升了计算效率，据消融实验显示，其训练时间比单层MDP减少了50%。
性能飞跃
πRL的性能在多个权威基准测试中得到验证。在包含空间、物体、目标及长序列任务的LIBERO基准上，πRL展现出强大的泛化能力。特别是在数据稀疏的长序列任务（LIBERO-Long）中，仅用单次专家轨迹进行SFT初始化，再通过πRL优化，成功率从43.9%跃升至94.0%，几乎达到满分。
在更大规模的ManiSkill基准中，该方案在包含4352种抓取-放置任务的MultiTask评估中，同样实现了显著性能提升，证明了其在大规模多任务场景下的有效性。
关键启示
πRL的成功为流式VLA模型的训练提供了重要启示。首先，证明了将流式模型的去噪特性进行针对性建模，是实现RL适配的关键路径，而非强行改造模型。其次，它验证了“少样本SFT+RL在线优化”是一条高性价比的路线，能大幅降低对昂贵专家数据的依赖。
团队还指出，未来研究可集中在优化噪声注入策略、提升分布外泛化能力以及向真实世界机器人迁移等方面，为通用机器人的发展奠定了坚实基础。
πRL框架的出现，不仅解决了流式VLA模型与强化学习融合的核心技术瓶颈，更为追求高灵巧性与大规模泛化的机器人应用提供了清晰且实用的路径。它推动了基础模型、强化学习与机器人控制的跨领域融合。随着这一方案的不断完善与落地，通用机器人离真正走进我们的生活还有多远？
