仅用30小时机器人数据!Ψ₀ 人形机器人基础模型性能提升 40%
USC PSI Lab 联合 NVIDIA 与 World Engine 提出 Psi-Zero(Ψ₀),这是一款用于解决高难度人形机器人运动-操作一体化任务的开放基础模型。现有方法通常通过在大规模多样化的人类与人形机器人数据上进行联合训练来解决核心问题,但研究人员认为,由于人类与人形机器人在运动学与运动模式上存在本质差异,该策略并非最优。因此,即便数据量巨大,数据效率与模型性能仍不尽如人意。
01核心创新:分阶段训练范式
为应对上述挑战,研究团队将学习过程解耦,以最大化异构数据源的利用价值。具体而言,提出了一种分阶段训练范式,各阶段设置不同学习目标:
- 视觉表征预训练
首先在大规模第一人称人类视频上对视觉-语言模型(VLM)主干进行自回归预训练,以习得具备泛化能力的视觉-动作表征。 - 动作专家后训练
随后在高质量人形机器人数据上对基于流的动作专家网络进行后训练,以学习精确的机器人关节控制。
02数据策略与实验结果
| 训练阶段 | 数据类型 | 数据量 | 训练目标 |
|---|---|---|---|
| 第一阶段预训练 | 第一人称人类视频 | 约800小时 | 学习泛化的视觉-动作表征 |
| 第二阶段后训练 | 高质量人形机器人数据 | 约30小时 | 学习精确的机器人关节控制 |
Psi0 分阶段训练数据配置
大量真实世界实验表明,该方法仅使用约800小时人类视频数据与30小时真实机器人数据,便取得了当前最优效果。Psi0 在多任务综合成功率上超越了使用10倍以上数据量训练的基线模型,性能提升超过40%。
03开源计划
研究团队宣布将向社区开源整个生态系统,包括数据处理与训练流水线、人形机器人基础模型以及实时动作推理引擎,以推动具身智能领域的发展。
当前文章无评论,是时候发表评论了