什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

🌍生成式3D世界训练机器人!成功率飙至75%

视觉-语言-动作(VLA)模型通常面临一个显著的痛点:仅在实验室环境中训练的机器人,一旦进入现实场景往往表现不佳。为了解决这一泛化难题,最新研究提出了一种利用生成式3D世界进行训练的创新方案,旨在打破仿真与现实的壁垒。
01技术方案:生成式3D世界与域随机化
该研究的核心在于将3D生成模型与强化学习相结合,通过语言指令驱动场景生成器,自动构建包含多样化物体、材质和背景的仿真环境。在这些生成的数字孪生场景中,研究者利用域随机化技术,对光照、纹理、物理参数等进行随机处理,以此训练VLA策略。这种方法避免了机器人在真实世界训练中从“通才”退化为“专才”的风险,利用“无限数据”克服了sim-to-real的瓶颈。
02实验数据对比
性能指标传统仿真训练生成式3D世界训练
仿真成功率9.7%79.8%
仿真任务完成速度基准速度提升1.25倍
真实世界成功率21.7%75%
真实世界任务速度基准速度提升1.13倍

生成式3D世界训练方案与传统方法的性能对比

03核心结论与价值
  • 场景多样性决定泛化能力
    消融实验证明,场景数量的增加直接带来泛化能力的持续提升,生成的世界越丰富,机器人越能适应未知环境。
  • 克服真实训练悖论
    在真实世界进行RL微调反而可能损害VLA的泛化能力。3D生成世界结合仿真RL提供了一条可扩展路径,无需在真实环境中训练即可获得高性能。
  • 通用操作新范式
    该研究表明,让机器人在AI创造的虚拟世界中“见多识广”,比在真实世界“死记硬背”更有效,这可能是通往通用机器人操作的正确方向。

评论

评论区空态插画

当前文章无评论,是时候发表评论了