传统机器人控制方法如PPO常因动作表达受限而性能不佳。一项名为FPO++的新算法通过改进流匹配策略，解决了在线强化学习中的训练不稳定问题。该方法成功在多款人形机器人上实现了高维、稳定的实机控制，为复杂机器人任务的自主学习提供了更高效、可靠的解决方案，展现了显著的技术突破。
智能速览
传统PPO算法依赖高斯分布，限制了机器人动作的表达能力。
FPO++是一种无需似然函数的策略梯度框架，专为流匹配设计。
逐样本比率裁剪技术，通过精细控制提升了训练的数值稳定性。
非对称信赖域设计，有效防止策略熵坍塌，保留探索能力。
测试时零采样技巧，将Sim-to-Real成功率从10%提升至70%以上。
FPO++已在Unitree和波士顿动力等多种机器人上实现稳定实机控制。
精华内容
FPO++的核心在于三大技术创新，它们协同作用，共同攻克了流匹配策略在在线强化学习中的训练难题，实现了从理论到实机的跨越。
突破表达瓶颈
主流的机器人控制方法，如PPO，通常采用简单的高斯分布来生成动作，这在复杂任务中极大地限制了机器人的动作表达能力。虽然流匹配等模型能表达更复杂的分布，但其高昂的计算成本和数值不稳定性，使其难以直接用于在线强化学习。FPO++的出现，正是为了解决这一核心矛盾，它构建了一个无需计算似然函数的策略梯度框架，为强大的流匹配策略在机器人实机控制中的应用铺平了道路。
三大技术创新
为实现稳定训练，FPO++引入了三项关键技术。首先是逐样本比率裁剪，它摒弃了传统的平均处理方式，对每个流匹配采样点单独进行比率计算和裁剪，构建了更精确的信赖域，显著提升了数值稳定性。其次是非对称信赖域（ASPO），该设计对正负优势样本采用不同约束，有效防止了策略熵坍塌，让机器人能学到更自然的对角步态，而非高斯策略下的同手同脚。
实机部署关键
最后一项关键技术是测试时零采样。在训练时保留噪声以供探索，但在部署到真实机器人时将初始噪声设为零。这个看似简单的改动，却极大地提升了策略从模拟环境迁移到真实世界的成功率。实验数据显示，在机械臂任务中，Sim-to-Real的成功率从原先的10%一跃提升至70%以上，证明了其在实际应用中的巨大价值。
多平台验证成功
FPO++的有效性已在多种机器人平台上得到验证。研究团队成功在宇树科技的Go2、H1、G1以及波士顿动力的Spot等机器人上，实现了完全的从头训练。最终，该策略被稳定部署于Unitree G1和Booster T1人形机器人，不仅能精确跟踪速度指令，还能在外部干扰下保持稳定的运动控制，展现了其在高维机器人控制领域的卓越性能。
FPO++算法通过精妙的架构设计，成功解决了高维机器人在线强化学习的关键痛点，将强大的流匹配模型带入了实用阶段。它不仅在理论上提供了新思路，更在多种机器人平台上验证了其卓越的稳定性和有效性。这项工作为未来更智能、更灵巧的通用机器人的发展奠定了坚实基础，我们离看到机器人无缝完成复杂任务还有多远？
