你自己拍段视频,机器人29秒就学会新技能,还不遗忘旧手艺
想让机器人学会倒杯水,传统方案需要采集几十条人类远程操控机器人的演示数据,再花数小时微调模型——结果还可能忘掉之前学会的技能。自变量团队最新开源的 HOST 框架把这个流程彻底颠覆了:机器人只需观看一段普通人类演示视频,平均 29 秒就能学会全新操作任务,全程无需更新模型参数,也不依赖任何机器人遥操作数据。数据量减少 50 倍,速度提升 500 倍,还不会遗忘旧技能。这不是实验室里的 Demo 数字,是真实任务 62% 成功率验证过的结果。1
传统机器人技能学习有两个绕不开的坑。第一,时序失配——人类视频里倒水的动作快慢,和机器人实际执行时根本不在同一个时间线上,强行按固定时间戳对齐会引入大量误差,传统方法进度对齐误差高达 0.079。第二,形态失配——人用手抓取和机器人用夹爪抓取完全不是一回事,从视频里学到的动作直接迁移过去几乎不可能。2
HOST 的解法是把视频从"背景输入"变成"预测约束"。它建立了一个共享任务进度流形,让机器人每一步动作都主动对齐人类视频的当前进度,然后取视频的"未来片段"反向映射为机器人的预测目标。这样视频不再是固定轨迹的参考,而是动态约束每一步动作的信号。
时序对齐怎么做到?基于 Qwen3-VL-8B 视觉编码器提取帧特征,配合平滑 DTW 算法和时序循环一致性模块,在没有标注的情况下自动学习人类视频与机器人轨迹的帧级单调对应关系。对齐精度从 0.079 压缩到 0.006,精度提升一个数量级。更关键的是,这个对齐不受执行快慢影响,机器人可以慢慢来,视频里的人是快进还是慢动作,HOST 都能自动匹配当前任务阶段。2
形态和视角差异怎么解决?HOST 设计了三阶段因果预测级联,模仿人类"看懂流程→脑补自身视角画面→生成动作"的认知链路。第一阶段让机器人定位视频中关键物体的空间位置,第二阶段把人类动作翻译成机器人能理解的自身坐标系画面,第三阶段基于前两阶段的推理结果生成具体动作指令。三层因果级联逐层降低跨域难度,把"看人做事"到"机器人做事"的鸿沟拆成三个台阶,每一步都是可学习的独立模块。
这种架构的实际意义在于:机器人第一次进家,不需要漫长的预训练周期,也不需要厂商提前采集好所有任务的数据。用户自己拍一段视频演示,HOST 就能让机器人学会。用户家的水杯什么样、抽屉怎么开、调料瓶摆在哪——这些非标准化场景的数据,之前根本没有哪家厂商能提前覆盖,现在靠用户自己就能教。
自变量团队把这套框架完全开源了。配合他们此前开源的 WALL 系列具身基础大模型、QUANXTA Zero 无本体数据采集平台,整个具身智能的底层工具链已经开源了一大半。当训练数据成本下降 95%、训练效率提升 30%,更多的开发者能进来,更多的场景会被挖掘,具身智能才能真正从实验室里的展品变成像家电一样普及的工具。3
当然,62% 的成功率说明还有近四成任务学不会。但对比传统微调方案需要的数据量、时间和遗忘风险,这个成功率已经足够在特定场景投入商用。下一步的提升空间来自两方面:更大规模的视频预训练让视觉特征更鲁棒,以及针对高难度任务的多段视频融合。29 秒学一个新技能的天花板,远没有到头。
当前文章无评论,是时候发表评论了