什么值得买App下载 App ›
连续签到专享现金活动

2026年2月HumanX框架实现人形机器人零样本迁移至Unitree G1,视频生成技术迈向物理可信新阶段

2026年2月,HumanX框架实现人形机器人通过观看人类视频“零样本”习得真实世界交互技能,在篮球、足球、羽毛球、货物搬运和反应式格斗5大领域共10种技能上成功迁移到宇树Unitree G1机器人,泛化成功率比以往方法高8倍以上,且不依赖外部摄像头或视觉输入。这一突破标志着视频生成技术正从“视觉保真”转向“物理可信”,成为驱动具身智能真实交互能力学习的关键底座。50
01视频生成如何支撑真实交互能力学习
当前主流路径是将视频生成模型作为“世界模型”或“数据引擎”,通过合成高保真、物理一致的观测-动作轨迹数据,支撑模仿学习与安全强化学习。例如,VLA智能体的世界模型采用“世界合成器”(World Synthesizer)和“世界模拟器”(World Simulator)范式,利用动作条件型或无动作型视频扩散模型生成训练数据,解决物理幻觉、规划不可执行和机器人数据稀缺三大瓶颈。Nvidia、CMU等联合提出的VIRAL框架则在纯仿真中大规模训练策略,并通过64-GPU分布式视觉仿真、分块渲染与大规模域随机化,实现零样本迁移至真实Unitree G1机器人,连续执行54个周期操作。6768
02代表性项目验证物理一致性闭环
多个项目已验证从视频生成到真实执行的可行性。RoboForge框架采用潜扩散模型将文本直接映射为运动潜码,并通过PP-Opt模块在仿真中用物理奖励函数(如惩罚脚滑、穿地)优化控制器,再反向用物理可信样本精调生成模型,形成“生成→执行→过滤→再生成”闭环,在Unitree G1上稳定运行武术踢腿、投掷标枪等高难度动作。PhysWorld则从生成视频(如Veo3)出发,经4D重建、纹理网格与物理参数装配构建可交互数字孪生,再以“目标中心残差强化学习”聚焦物体6D位姿轨迹,在10类真实任务中平均成功率82%,显著优于无物理建模方法(67%)。此外,Cosmos Policy首次在ALOHA真实双臂机器人上实现“把糖果放入密封袋”等毫米级高精度任务的零样本部署,证明视频模型学到的物理动态先验比语言-视觉模型的语义先验更适配底层控制。663248

学界与产业界对视频生成学习路径的看法

支持派

认为视频生成可有效弥合数据鸿沟并提升泛化能力

  • 诺因智能采用KnowinDream引擎合成家庭场景机械臂操作视频,其KnowinBrain模型登顶Embodied Arena榜单。
  • 斯坦福李飞飞团队指出需在训练中引入生物力学或物理损失函数,以提升动作生成的物理一致性。
  • 北大与字节提出RBench基准与RoVid-X数据集(400万条标注片段),推动视频生成从“视觉美观”向“物理可信”跨越。
谨慎派

强调真实交互数据不可替代,视频生成仅为补充

  • 行业共识认为人形机器人所需数据量达自动驾驶的2–3个数量级,而“第三层本体采集数据”是机器人从“能表演”走向“真干活”的关键。
  • 蚂蚁LingBot-VLA基于2万小时真实双臂操作数据构建,实证表明性能随真实数据量增长未见饱和。
  • 有分析指出VLA模型面临“看懂视频≠会做动作”的根本鸿沟,因互联网视频多为观察性、缺乏交互性与因果性。
03当前局限与后续关注点
尽管进展显著,该技术路径仍存在明显局限:一是生成视频的物理合理性依赖后训练对齐或外部重建(如World-R1用3DGS提升PSNR至27.67),二是零样本迁移多限于特定硬件(如Unitree G1、ALOHA),三是长周期任务仍需真实数据微调(如+ego框架需14小时人类视频提升鸡蛋分拣准确率)。用户可关注以下节点:特斯拉第三代Optimus将于2026年亮相,支持“观察学习”能力;腾讯HY-World 1.5已开源,提供流式视频扩散模型支持实时交互式世界生成;山东平阴实训场年产出超300万条高质量真实交互数据,将持续验证合成数据与真实数据的协同效应。

评论

评论区空态插画

当前文章无评论,是时候发表评论了