NUS发布World-VLA-Loop:终结幻觉,让机器人在虚拟中进化
新加坡国立大学(NUS)Show Lab发布了World-VLA-Loop闭环学习框架,旨在解决具身智能领域中机器人训练成本高及现有视频世界模型存在“动作幻觉”的问题。该框架通过引入包含“近乎成功”轨迹的SANS数据集,实现了视频世界模型与VLA(视觉-语言-动作)策略的闭环协同演化。实验证明,该方法能构建高保真虚拟环境,使机器人在无需大量物理交互的情况下,通过纯虚拟强化学习显著提升现实任务的成功率。
01技术痛点:真实训练成本与虚拟模拟幻觉
现有训练范式局限
真实世界强化学习
成本与风险极高
- 每次失败需人工监控并重置环境,耗费人力
- 需要成千上万次物理环境交互,硬件成本高昂
- 探索过程中的严重失误极易摧毁昂贵设备,安全性低
现有视频世界模型
存在致命缺陷
- 缺乏足够的动作跟随精度,存在“动作幻觉”
- 基于视觉惯性“脑补”成功画面,无视物理规律
- 模拟器的“撒谎”行为导致虚拟训练失去参考价值
02解决方案:World-VLA-Loop闭环架构
World-VLA-Loop提出了一种全新的闭环协同进化框架,连接了世界模型与VLA策略大脑。世界模型作为虚拟模拟器负责训练VLA,而VLA产生的失败数据会实时回流,反哺世界模型使其模拟的物理边界更加真实。通过这种互动,模型与策略实现了双向奔赴和共同进化。
训练范式代际对比
闭环协同进化框架
成本极低:无需手动构建复杂场景
逼真度极高:基于SANS数据集与DiT架构
物理准确度:动作闭环校准,具备内置奖励机制
RL可行性:完美适配,支持大规模虚拟强化学习


传统模拟器/模型
手工模拟器:逼真度不足,物理规则简单
3D重建世界:动态泛化能力差,成本中等
基础视频模型:动作精度差,无奖励机制
03核心引擎:四大技术阶段解析
- 构建SANS数据集(Phase 1)
传统数据集仅记录完美成功操作,导致“失败盲区”。SANS数据集刻意收录了“几乎成功但因微小误差而失败”的轨迹,逼迫世界模型精准学习细微的空间动态与物理失败边界。 - 状态感知视频世界模拟器(Phase 2)
架构基于Diffusion Transformer(DiT),将6-DoF末端执行器位姿与夹爪状态深度融合至潜空间。同时植入轻量级MLP奖励预测头,直接从潜空间预测标量奖励,确保生成的视频严丝合缝地遵循物理指令,彻底消灭幻觉。 - 虚拟世界强化学习(Phase 3)
利用GRPO优化算法,VLA策略在虚拟矩阵中进行成千上万次试错迭代。世界模型生成视频并给出精准评分,实现了硬件零磨损、零风险的策略高速优化。 - 真实世界部署与数据回流(Phase 4)
将虚拟进化的策略部署至真实物理世界,并将运行中的新数据(含罕见失败模式)自动回流至SANS数据集,形成持续迭代的进化飞轮。
04实验验证:性能飙升与幻觉消除
| 验证维度 | 关键指标 | 效果提升 |
|---|---|---|
| 虚拟现实构建 | 平均SSIM 0.91 / PSNR 28.09 | 画面畸变极小,物理模拟真实可靠 |
| 动作幻觉消除 | 视觉对齐率 87.9% / 奖励对齐率 86.4% | 模拟器对成败的预测与物理现实高度一致 |
| Libero任务性能 | 平均成功率 +12.7% | Libero-Goal任务成功率从91.9%跃升至100% |
| 真实世界表现 | 绝对提升 +36.7% | 初始SFT策略成功率13.3%,迭代后达到50% |
World-VLA-Loop实验数据摘要
在真实物理实验室的终极考验中,该框架展现了显著的性能跨越。初始策略常采用不稳定的“奇葩姿势”进行投机取巧(奖励黑客),但随着迭代深入,世界模型精准识别并纠正了这些物理缺陷,最终使机器人学会了精准且稳定的完美抓取动作。World-VLA-Loop通过融合状态感知模拟器与协同进化的强化学习闭环,让机器人得以在数字矩阵中安全完成百万次试错,为通用机器人的低成本进化奠定了基础。
当前文章无评论,是时候发表评论了