苹果HALO系统91%成功率背后,现在还做不好哪些任务?

源自107位全网作者

10:29

11月4日,苹果研究团队在arXiv预印本平台提交论文《Perceptive Humanoid Motion from Simulation》,披露了人形机器人自主控制系统HALO,并同步公开数据生成、模型训练和部署代码。 在6个从未预先扫描或建图的真实环境里,HALO完成了360次单项任务测试,平均成功率达到91%。 但91%只覆盖六类预设的基础技能——走向目标、坐下、侧身过门、俯身、爬行、推箱子;一旦换成多步骤组合任务、需要手指的灵巧操作,或者物体离开视野、频繁发生接触的任务,它现在都做不好。知乎澎湃新闻微博

91%测的是技能迁移,不是自主干活

HALO的测试载体是一台宇树G1人形机器人,任务规划调用千问(Qwen)视觉语言模型。 推理全部跑在机器人本体上:背上的一台Mac mini M4 Pro负责视觉理解和动作生成,Jetson Orin NX负责实时控制。 数据也不靠真人一小时一小时遥操采集:团队用场景生成工具搭出1000个仿真房间,再用动作生成模型合成动作数据。澎湃新闻知乎小红书

机器人训练时没有去过任何一间测试用的真实房间,主要依靠模拟世界里自动生成的300小时数据。 所以91%验证的是六类预训练技能向陌生真实环境的迁移,而不是机器人遇到全新任务也能自主完成。知乎微博

组合任务:70%,三步任务只剩50%

动作一旦串成多步骤任务,成功率立刻滑坡:在一个真实环境中,3种组合任务各测10次,平均成功率只有70%。 其中步骤最长的“俯身通过障碍—走向目标—推箱子”三步骤任务仅50%,接近每两次尝试就要失败一次。 单任务成功率并不能自然叠加成长任务能力:前一步落点或姿态的偏差,会直接影响下一步能否成立。知乎微博

触觉缺失:看不见物体就掉链子

接触类任务是另一块短板。研究团队在论文中同时指出,目前机器人主要依赖视觉感知,难以直接感知接触情况;当物体离开相机视野或被遮挡时,涉及较多接触的任务表现会下降,加入触觉感知被列为后续改进方向。 对一台要走进普通家庭干活的机器人来说,钻桌子、推箱子这类动作恰恰全程都在和物体接触——感知不到接触,就意味着它只能在物体始终可见时稳定工作。知乎

灵巧操作和数据,团队自己承认还没做

灵巧手操作完全不在本轮研究范围内,论文也没有证明HALO优于其他机器人系统。 数据生成也还没实现完全自动化:新增物理任务仍需人工编写提示词、设计动作关键帧,部分动作使用了人类视频或动捕素材。 参与这项研究的团队成员也坦言,合成数据目前覆盖的任务种类和交互复杂度还不够。微博知乎小红书

该盯什么数字

苹果这次披露的是研究阶段成果,没有附带任何消费级机器人产品的时间表。对关注这条赛道的读者来说,比91%更有信号价值的观察指标,是组合任务成功率能否从70%、50%往上走,以及触觉感知和灵巧操作什么时候补进框架。真正决定机器人能不能进家干活的分水岭在这里;而这项研究已经确认的一点是,纯合成数据足以支撑全身运动能力向真实环境迁移——人形机器人昂贵的数据采集成本之争,正在被改写的方向已经清楚了。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐