机器人学习的核心瓶颈在于跨具身迁移能力,即如何让一个模型适配不同形态的机器人。英伟达提出的DreamZero世界动作模型,正是为了解决此问题。这是一个140亿参数的模型,能够通过文本提示,让机器人在从未见过的任务与环境上实现零样本执行,标志着通用具身智能迈出关键一步。

智能速览
DreamZero是一个140亿参数的世界动作模型,能通过文本提示控制机器人。
相比现有模型,DreamZero在新任务上的泛化性能提升超过2倍。
仅需30分钟的“玩耍数据”即可将模型适配到全新的机器人上。
通过模型优化,实现了支持7Hz频率的实时闭环控制。
仅用10-20分钟的视频示范,就能在未见任务上提升超42%的性能。
精华内容
构建能理解物理规律的通用世界模型,是具身智能从专用走向通用的关键。DreamZero通过联合预测视频与动作,为这一难题提供了创新且高效的解决方案。
跨具身迁移之困
当前多数机器人学习的并非“世界如何运作”,而是“在这台机器上该怎么动”,这导致模型在不同硬件平台间的泛化能力极差,跨具身迁移几乎依赖运气。要实现通用具身智能,核心是构建一个能理解物理与因果、知道动作后果的真正世界模型,这样才能在不同身体和环境中迁移。
视频与动作联合建模
DreamZero的创新之处在于,它将视频作为世界演化的稠密表示,通过联合预测未来世界状态与机器人动作来学习物理动力学。模型接收视觉上下文、语言指令和本体感知状态作为输入,经由一个自回归DiT主干网络,共同输出未来的视频帧和对应的动作序列。这种设计实现了视觉与电机指令的紧密耦合。

实测性能超2倍
在AgiBot机器人平台的零样本测试中,DreamZero在未见任务上取得了39.5%的任务进度,而最先进的VLA模型几乎无法执行。对于已见任务但在新环境中的测试,DreamZero平均任务进度达到62.2%,比最佳VLA基线的27.4%提升超过2倍。这表明其摆脱了VLA模型过拟合于“抓取-放置”等主导行为的局限。
30分钟快速适配
DreamZero展现出惊人的跨具身迁移效率。仅使用30分钟的“玩耍数据”(55条轨迹),该模型便能成功适配到全新的YAM机器人,并对南瓜、泰迪熊等新物体实现零样本操作。以往需要数百小时示范的工作,现在缩短至30分钟内完成,且无需大规模重训。
实时交互已实现
为解决视频扩散模型推理速度慢的问题,研究团队在模型和系统层面进行了深度优化。最终,140亿参数的DreamZero实现了每个动作块150ms的推理延迟,支持7Hz的实时闭环控制。结合异步推理与动作块平滑技术,机器人的执行过程流畅且响应迅速,使其具备在真实世界中交互的能力。
DreamZero通过视频世界模型,显著提升了机器人的零样本泛化与跨具身迁移能力,为通用具身智能的发展提供了新范式。随着模型的不断进化,未来机器人将能在多么复杂和开放的环境中自主工作?