苹果罕见公开人形机器人进展:宇树 G1 背着千问 Mac mini,陌生家庭里单项成功率 91%

源自69位全网作者

22:45

苹果研究团队罕见地以论文形式公开了人形机器人进展。这项研究叫 HALO,论文于 11 月 4 日(UTC)提交,实验身体直接用了量产的宇树 G1,背上驮着一台运行千问模型的 Mac mini 分担计算。 它不是产品公告,近期不会有苹果品牌的机器人发售;但论文给出的结果相当直白:训练时从未见过这些家庭、现场也没有扫描建图,HALO 就在六个真实家庭里完成了 360 次单项任务,平均成功率 91%。知乎arXiv

背上的 Mac mini 到底在算什么

G1 本机算力带不动大模型,这身“改装”正是为此。研究团队采用宇树科技G1人形机器人,背部加装了专用3D打印保护外壳,内置一台 Mac mini(M4 Pro 芯片,64GB 统一内存)。 整套自主系统分三层:编排器用视觉语言模型把自然语言指令拆成“走过去”“转身”“坐下”这类子任务,大约每两秒更新一次,成功就推进、失败就重试;运动生成器以约 3Hz 重规划未来 5 秒的全身动作;跟踪器再以 50Hz 跟随执行。微博GitHub

上层生成的轨迹,作为下层控制回路的执行目标,而下层就跑在 G1 原厂自带的 Jetson Orin NX 上,结合第一人称深度与本体感知,把规划落到 29 个关节指令,保证不摔倒、不撞家具。 编排器默认用 Qwen3.6-35B-A3B(4-bit 量化、MLX)在背上的 Mac mini 里本地运行;论文称,默认方案可离线运行——不必把每一步发给云端等回答,可选地经 API 调用云端前沿模型增强规划,但并非依赖项。arXiv知乎

91% 考的是什么

测的六个项目是:走到指定物体附近、坐到椅子上、侧身穿过半开的门、在桌下俯身或爬行穿过、推箱子。 真机测试选了六个真实家庭,每项各十次、共 360 次,平均成功率 91%,判据是完成任务且不摔倒、不卡住。知乎微博

比成功率更值得看的是它怎么学会的。训练没有用一条人类遥控示教,主要训练数据约三百小时,覆盖一千个程序生成的室内环境。 成本同样透明:数据合成在 250 块 H100 GPU 上耗时约 48 小时,运动生成器训练使用 64 块 B200 GPU,运动跟踪器训练使用 4 块 H100 GPU。 论文里的消融实验指出了收益来源:把用于训练的仿真场景数量从 1 变化到 100 种,成功率从 43% 急剧上升到 81%。知乎微博知乎

所以 91% 的实质价值不是“机器人会了多少动作”,而是把在模拟里学的动作,直接带进一间没扫描过的陌生公寓执行——搬家、换家具,不必从头重调。边界同样要看清:走到物体附近不包含拿起它,推箱子也不等于搬运收纳,“家务九成会做”是过度解读。

哪里还会摔跟头

单项之外,论文另测了三组组合任务,平均成功率掉到 70%:单一真实场景里每种各测十次,最长的“穿过障碍→走向目标→推箱子”只成了一半。 作者给出的失败分析比数字更有信息量:这五次失败中,三次是钻出障碍后,头没有朝向箱子,目标没进入视野,机器人又被其他物体吸引。 这戳中了通往家用的另一道门槛:每个动作都会做,和把几个动作串成一件事,是两种能力。人找不到目标会自然转身搜索,系统却要把这种“恢复行为”专门补进能力里,论文也把这一点列为下一步改进方向。微博知乎

HALO 没有公布产品,也没有时间表,但它第一次在真实家庭里跑通了“数据瓶颈靠算力解决、部署不靠云端”这条路线。判断它是否真的在往家里走,值得盯的信号不是单项动作集锦,而是中途不断掉的完整任务链,和出错后能否自己找回目标。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐