传统机器人强化学习因依赖动作似然而受限，新方法FPO++巧妙绕开这一瓶颈，首次实现了流策略在人形机器人上的稳定训练与部署。这项技术为更复杂、更仿真的机器人控制开辟了新路径，解决了高维任务中的训练不稳定性与性能瓶颈。
智能速览
FPO++是一种全新的无似然机器人强化学习方法。
通过条件流匹配损失差分近似策略比率，彻底摆脱了动作似然计算。
成功实现了四足与人形机器人从仿真到现实的首次部署。
在多个机器人任务中，其成功率与收敛速度系统性超越现有方法。
采用Zero-sampling推理策略，在提升表现的同时降低了真实机器人推理延迟。
精华内容
机器人强化学习长期受困于动作似然的枷锁，限制了策略的表达能力。FPO++的出现，正是为了打破这一桎梏，为流策略在真实机器人世界的应用扫清障碍。
核心机制：无似然梯度
传统强化学习算法如PPO，其策略梯度计算严重依赖一个可微的动作概率密度函数，这迫使策略网络只能输出高斯分布等简单形式，极大地限制了机器人在复杂环境中的表现力。FPO++则另辟蹊径，它不直接计算动作似然，而是创新性地采用条件流匹配（CFM）损失函数的差分来近似策略梯度中的比率项，从而在数学上彻底绕开了对动作似然的依赖，为使用更强大的流模型作为策略奠定了基础。
关键改进：稳定与收敛
为解决早期流策略方法训练不稳定的问题，FPO++引入了两项关键改进。首先是“Per-sample ratio”，将策略比率计算的粒度从“每个动作”细化到“每个蒙特卡洛样本”，显著降低了梯度方差，使训练过程更加平滑。其次是“ASPO非对称信任域”，针对正负优势值采用不同约束机制：正优势值使用PPO的裁剪限制更新幅度，负优势值则采用SPO约束，有效防止了策略熵的过快塌缩和训练崩溃。
实测表现：Sim-to-Real突破
在IsaacLab这种高维、带有真实物理约束的仿真环境中，FPO++从零开始训练也能稳定收敛，其表现明显优于原始的FPO方法，有效避免了训练发散和灾难性失败。更关键的是，研究团队成功将训练好的策略直接部署到真实的人形机器人上。在Booster T1上进行行走任务，在Unitree G1上进行全身动作跟踪，均实现了首次无专家蒸馏、无显式似然的流策略sim-to-real成功应用。
应用拓展：操作任务微调
除了移动机器人，FPO++在操作任务中也展现了强大的潜力。在RoboMimic和DexMimicGen等标准的机器人操作基准测试中，使用FPO++对预训练的流模型进行在线强化学习微调，其任务成功率和收敛速度系统性超过了DPPO和ReinFlow等现有主流方法。这证明了FPO++不仅能让机器人学会“走路”，还能让它们学会更精细的“操作”，具有广泛的适用性。
FPO++不仅是一项技术优化，更是一次思维范式转变，它证明了无需似然的流策略在机器人控制领域的巨大潜力。随着这项技术的成熟，未来机器人或许能以更灵活、更强大的方式学习与人类世界交互，这为通用机器人的发展带来了新的想象空间。
