具身智能的数据飞轮,被3台iPhone转动了
斯坦福大学与丰田研究院联合发布了一项新研究 HoMMI,旨在解决机器人学中如何让机器人像人一样灵活操作的问题。该研究提出了一种新的训练思路:无需专业的机器人遥操作设备,直接利用人类日常示范数据来训练机器人的全身操作策略。
01技术方案与数据采集
HoMMI 的核心方案基于 UMI 双手抓手系统,并在头部增加了一台 iPhone。通过三台 iPhone 设备(头部视角 + 双手腕视角)利用 ARKit 统一坐标系,实现 60Hz 的同步数据采集。这种方法将原本昂贵的专业遥操作转化为低门槛的便携式数据收集,人人都可以通过佩戴简单设备进行示范。
02核心难点与解决策略
人机差异的三大挑战与对策
视觉外观差异
人与机器人视角和外观截然不同
- 对策:使用 3D 点云特征替代原始 RGB 图像
- 消除视角和外观上的差异,实现跨形态的特征统一
运动学结构差异
人脖子灵活,机器人脖子仅 2 个自由度
- 对策:用“注视点”代替 6DoF 头部姿态
- 不直接复制人的头部动作,而是引导机器人主动关注目标点
全身协调控制
底盘、躯干、双臂需统一调度
- 对策:设计全身约束 IK 控制器
- 协调全身各部位,确保动作的稳定与精准
03实验结果对比
| 任务类型 | HoMMI 方法成功率 | 仅手腕相机基线 | 仅头部相机基线 |
|---|---|---|---|
| 叠衣服 | 90% | 较低 | 失败(对齐困难) |
| 送货 | 85% | 失败(方向错误) | 失败(高度碰撞) |
| 铺桌布 | 80% | 失败(双手协调差) | 失败(抓取不准) |
不同任务下的成功率对比
实验结果显示,HoMMI 在叠衣服、送货和铺桌布三个任务上的成功率分别达到 90%、85% 和 80%。相比之下,仅使用手腕相机的方法常因视野受限导致方向错误或双手协调失败,而仅使用头部相机的方法则因缺乏局部接触线索而在抓取和对齐上表现不佳。
04应用价值
该研究最大的价值在于降低了具身智能的数据采集门槛。仅需三台 iPhone 和一对夹手,即可完成高质量的人类示范数据采集。这种低成本、高效率的数据飞轮模式,有望加速机器人全身操作技能的普及与迭代。
当前文章无评论,是时候发表评论了