WMPO框架为机器人学习带来新思路，它利用视频生成世界模型创造“想象轨迹”，替代高成本的真实环境交互。此方法不仅与VLA预训练知识对齐，还显著提升了策略优化的效率和稳定性，解决了传统强化学习样本效率低和模仿学习模型脆弱的痛点，让机器人能更智能地自我完善。
智能速览
WMPO核心是用“想象轨迹”替代真实环境交互进行策略优化。
架构包含生成式世界模型、轻量级奖励模型和GRPO优化三大模块。
世界模型通过像素级动态建模，精准捕捉机器人失败模式。
轻量级奖励模型通过滑动窗口判断，简化了奖励设计。
GRPO算法适配稀疏奖励，通过动态采样和去除KL正则化提升性能。
实验证明该方法显著提升样本效率，并涌现出自我修正等新行为。
精华内容
WMPO框架通过三大核心模块的协同工作，构建了一个高效的虚拟学习闭环，让机器人在“想象”中迭代升级，从而实现更强大的泛化与终身学习能力。
像素级世界建模
生成式世界模型是WMPO的基石，它基于OpenSora的视频扩散骨干网络，并将3D VAE替换为SDXL的2D VAE，以此保留更细粒度的运动细节，有效避免时间维度上的信息失真。
为了确保模型能准确预测策略行为而非仅模仿专家，该模型首先在百万级机器人轨迹数据集上预训练，然后用策略自身收集的真实轨迹进行微调，解决了专家演示与策略滚动之间的分布不匹配问题，使其能精准捕捉失败模式。
此外，训练时对条件帧添加扩散噪声，提升了模型对不完美输入的鲁棒性，并能支持长达数百帧的稳定视域生成。通过扩展AdaLN模块，模型在帧级别注入动作信号，解决了动作与帧之间的错位问题。
轻量级奖励模型
为了提供可靠的结果导向奖励，WMPO设计了一个轻量级奖励模型。其训练数据经过精心构造，正样本为成功轨迹的终端片段，负样本则包含成功轨迹的中间片段和所有失败轨迹的片段，以此平衡了批次内的正负样本比例，避免了奖励信号偏差。
在模型结构上，它采用VideoMAE编码器配合一个简单的线性头，通过二元交叉熵损失进行训练。推理时，模型采用滑动窗口的方式计算轨迹中每个片段的成功概率，只要轨迹中任意一个片段的成功概率超过预设阈值，即判定为成功，这极大地简化了奖励设计并有效防止了奖励攻击。
GRPO策略优化
在策略优化环节，WMPO选择了Group Relative Policy Optimization（GRPO）算法，该算法对稀疏奖励场景有更好的适配性，在稳定性和可扩展性上表现更优。
框架对GRPO进行了几项关键优化。首先是动态采样策略，直接丢弃那些全成功或全失败的轨迹组，避免了梯度消失问题。其次，去除了传统的KL散度正则化，这不仅降低了内存消耗，也鼓励了策略进行更广泛的探索。最后，策略模型与世界模型交替交互，从同一初始状态可重复生成完整的想象轨迹，这是真实环境难以实现的优势。
实验优势展现
在仿真环境与真实机器人场景的大量实验中，WMPO框架的综合优势得到充分验证。首先，它显著提升了样本效率，大幅减少了真实机器人所需的交互次数。其次，其实现的最终整体性能优于多种基线方法。更重要的是，该框架在训练过程中涌现出了自我修正等创新行为，展现出更高的智能水平。此外，它还具备了稳健的泛化能力和终身学习潜力，能够适应新任务并持续改进。
WMPO框架为VLA模型的强化学习开辟了一条高效且稳健的新路径，通过“想象”驱动学习，有效解决了真实世界交互的瓶颈问题。这种将世界模型与策略优化紧密结合的思路，或许预示着机器人自我进化的新方向，未来能否在更复杂多变的任务中大放异彩，值得持续关注。
