具身智能正从炫技走向实用,但机器人动作的间歇性停顿是实现生产力的关键阻碍。小米开源的首个机器人VLA大模型Xiaomi-Robotics-0,通过三项核心技术创新,将推理延迟压缩至80ms,实现了丝滑且精准的连续控制。这不仅刷新了多项行业基准,更为具身机器人在真实场景中的自主作业提供了可行路径,展示了从技术验证走向工业落地的坚实一步。
智能速览
小米推出首个具身VLA大模型,实现80ms超低延迟。
模型采用“大脑-小脑”架构,确保动作平滑连续。
通过两阶段训练,模型在学动作后保留了强大视觉理解力。
在多项仿真与真实任务测试中,全面超越现有顶尖模型。
小米选择开源全套技术方案,旨在降低行业研发门槛。
精华内容
让机器人从频频停顿到丝滑操作,技术突破点究竟在哪?Xiaomi-Robotics-0通过架构、训练与后训练的三重创新,揭示了实现具身智能高流畅度的核心密码。
大脑小脑分工
为实现流畅控制,模型采用了创新的“大脑-小脑”架构。“大脑”是负责理解与决策的VLM视觉语言模型,“小脑”则是引入了DiT(Diffusion Transformer)架构的动作生成器。大脑输出的KV缓存会直接传递给小脑,由其专门生成连续的动作块,彻底改变了传统离散token方式导致的精度截断和轨迹不连续问题。
通过流匹配技术,小脑仅需五步采样即可生成高精度连续动作向量,大幅缩短推理链路。这种设计既保证了强大的理解能力,又将4.7B参数模型的推理延迟控制在80ms,支持30Hz控制频率,可在RTX 4090等消费级显卡上实时运行。
防止模型变笨
具身模型训练中普遍存在视觉理解能力退化的问题。为解决此难题,模型在预训练阶段采用了两阶段特训。第一阶段,通过跨平台机器人轨迹数据,让模型在理解指令的同时粗粒度预测动作,对齐视觉与动作空间,并混合大量视觉语言数据以防遗忘。
进入第二阶段精细化动作训练时,会冻结VLM部分,单独训练DiT进行流匹配生成。这种分工确保模型在学会精准执行连续动作后,依然保持了强大的多模态通识能力,使其在复杂任务中既能读懂指令,又能规划出连贯的执行方案。
精准修正动作
针对传统异步执行易产生“动作惯性”、忽视环境变化的顽疾,模型在后训练阶段引入了Λ-shape attention(Lambda形掩码机制)。该机制类似一个带后视镜的瞄准镜,动作块中紧邻前缀的动作会回看先前动作以保证衔接平滑,而远离前缀的部分则被强制聚焦于当前视觉反馈。
这种设计在保证动作连续性的同时,强制模型实时审视环境变化,实现了“连贯且可修正”的理想状态。得益于此,模型在保持动作流畅度的同时,精度与吞吐量也实现了领先。
实战检验成果
在LIBERO、CALVIN等六个主流VLA仿真环境中,该模型全面超越包括π0、OpenVLA在内的约30个头部模型,在Libero-Object任务上达到了100%成功率。在MathVista、ScienceQA等九个VLM基准测试中,其指标同样保持领先,证明其并未牺牲理解能力换取控制能力。
在真实世界任务中,模型连续30分钟高成功率叠毛巾,并在拆卸乐高任务中达到100%成功率,吞吐量领先约25%。这些数据证明,Xiaomi-Robotics-0已打通了仿真-视觉理解-真实操作的闭环,是一个成熟的一体化VLA模型。
Xiaomi-Robotics-0不仅是一个技术模型,更体现了小米务实推进具身智能落地的决心。通过开源,它为行业构建了基础设施,加速了从技术演示到实际应用的转变。未来,当这样的“眼-脑-手”协同系统在工厂中普及,生产力的真正解放或许就近在眼前了。