张大妈

便携&无需机器人接口的全身操控数据收集

源自小红薯:AI朋友圈

02-17 13:50

人形机器人训练长期面临数据采集难、全身协同差的挑战。一项名为HuMI的新框架给出了解决方案:仅凭“背包实验室”般的便携设备,就能在任意环境收集高质量全身操控数据。其核心在于引入实时运动学预览,确保人类动作对机器人可行,大幅提升了技能学习的效率与泛化能力。

便携&无需机器人接口的全身操控数据收集智能速览

  • HuMI是一个无机器人、便携式的全身操控数据收集框架。

  • 采用手持夹爪和可穿戴追踪器,摆脱了对昂贵机器人硬件的依赖。

  • 通过实时逆运动学预览,解决了人机形态差异导致的数据不匹配问题。

  • 分层学习架构统一了高层决策与低层控制的训练。

  • 实验成功掌握了单膝跪地、拔剑、投掷等复杂全身技能。

  • 在未见环境中任务成功率仍达70%,展现出强大的泛化能力。

便携&无需机器人接口的全身操控数据收集精华内容

HuMI框架的巧妙之处,在于它并未创造更复杂的机器人,而是优化了“教”的环节,让数据采集过程变得前所未有的灵活和精准。

背包实验室

传统的人形机器人数据采集严重依赖遥操作系统和昂贵的机器人本体,限制了采集场景和效率。HuMI框架将整个采集过程简化为一个“背包实验室”,仅由两个集成摄像头的手持传感器夹爪和五个轻量化可穿戴追踪器组成。

这种设计彻底摆脱了对特定实验室环境和昂贵硬件的束缚,研究人员可以携带这套设备前往任何真实场景,像背包客一样随时随地进行数据采集,极大地增强了数据收集的灵活性和场景丰富度。

实时运动预览

人类与人形机器人在身体结构上存在显著的形态差异,直接模仿人类动作可能导致机器人关节超出限制或无法触及目标。为解决此问题,HuMI引入了Human-in-the-Loop的实时逆运动学(IK)预览机制。

在演示过程中,操作者能通过屏幕实时看到虚拟人形机器人根据自己动作生成的运动学反馈。当动作超出机器人能力范围时,系统能即时提示,让操作者主动调整姿态,确保采集到的数据在运动学上是完全可行的,有效避免了后期数据修正的难题。

分层学习架构

HuMI采用统一的分层学习框架,实现从演示到执行的平滑迁移。高层策略利用夹爪上的视觉信息和关键点轨迹,通过Diffusion Policy模型学习任务的宏观决策,例如“拿起哪个瓶子”或“如何拔出剑”。

低层控制器则专注于执行细节,它接收高层决策指令,并基于逆运动学求解出的全身关节运动数据,通过强化学习训练精确的轨迹跟踪能力。这种高层决策与低层控制分离的架构,让机器人既能理解任务意图,又能精准完成动作。

泛化能力验证

实验证明,HuMI框架能够成功学习并执行一系列高度复杂的全身协同技能,包括需要全身协调的单膝跪地“求婚”、要求高精度双手配合的“拔剑”、涉及动量控制的“动态投掷”以及在低矮空间操作的“蹲下捡瓶”。

更具说服力的是其泛化能力:仅在7个不同环境中采集的数据进行训练,HuMI在面对从未见过的环境和物体时,任务成功率依然能达到70%。这表明该框架学习到的技能具有很强的鲁棒性和环境适应性,为机器人走出实验室迈向真实世界提供了可能。

HuMI框架为人形机器人技能学习开辟了一条高效、低成本的新路径。它证明了优化数据采集环节与优化算法同等重要。未来,这种便携式方法能否加速机器人在更多复杂场景中的应用,值得期待。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐