🌍生成式3D世界训练机器人!成功率飙至75%
视觉-语言-动作(VLA)模型通常面临一个显著的痛点:仅在实验室环境中训练的机器人,一旦进入现实场景往往表现不佳。为了解决这一泛化难题,最新研究提出了一种利用生成式3D世界进行训练的创新方案,旨在打破仿真与现实的壁垒。
01技术方案:生成式3D世界与域随机化
该研究的核心在于将3D生成模型与强化学习相结合,通过语言指令驱动场景生成器,自动构建包含多样化物体、材质和背景的仿真环境。在这些生成的数字孪生场景中,研究者利用域随机化技术,对光照、纹理、物理参数等进行随机处理,以此训练VLA策略。这种方法避免了机器人在真实世界训练中从“通才”退化为“专才”的风险,利用“无限数据”克服了sim-to-real的瓶颈。
02实验数据对比
| 性能指标 | 传统仿真训练 | 生成式3D世界训练 |
|---|---|---|
| 仿真成功率 | 9.7% | 79.8% |
| 仿真任务完成速度 | 基准速度 | 提升1.25倍 |
| 真实世界成功率 | 21.7% | 75% |
| 真实世界任务速度 | 基准速度 | 提升1.13倍 |
生成式3D世界训练方案与传统方法的性能对比
03核心结论与价值
- 场景多样性决定泛化能力
消融实验证明,场景数量的增加直接带来泛化能力的持续提升,生成的世界越丰富,机器人越能适应未知环境。 - 克服真实训练悖论
在真实世界进行RL微调反而可能损害VLA的泛化能力。3D生成世界结合仿真RL提供了一条可扩展路径,无需在真实环境中训练即可获得高性能。 - 通用操作新范式
该研究表明,让机器人在AI创造的虚拟世界中“见多识广”,比在真实世界“死记硬背”更有效,这可能是通往通用机器人操作的正确方向。
当前文章无评论,是时候发表评论了