具身机器人正从表演迈向生产,核心在于解决动作停顿。小米首个VLA大模型Xiaomi-Robotics-0凭借三项创新,实现80ms推理延迟与30Hz实时控制,在消费级显卡上即可流畅运行。此模型已开源,为具身智能的工业化落地提供了新的技术路径与可能性。
智能速览
小米VLA模型实现80ms推理延迟,支持30Hz实时控制。
采用“大脑+小脑”双脑协同架构,动作生成更丝滑精准。
两阶段预训练策略,确保模型在学会动作后不失视觉理解能力。
在多个主流仿真与真实世界任务中刷新SOTA纪录,且全面开源。
精华内容
要实现机器人真正的生产力,关键在于解决动作的连续性与实时性。Xiaomi-Robotics-0通过架构与训练创新,打破了具身模型思维卡顿的固有难题,让低延迟高智能成为现实。
双脑协同架构
Xiaomi-Robotics-0采用了双脑协同的MoT架构,将VLM视觉语言模型作为“大脑”负责全局理解,并创新性地引入16层DiT(Diffusion Transformer)作为“小脑”专门输出连续动作。
这种设计改变了传统离散token方式带来的精度截断问题。大脑的KV cache会传递给小脑,后者配合流匹配技术直接生成连续动作向量,使动作更平滑。
通过流匹配训练,推理采样步数从数十至数百步压缩至五步,大幅缩短了推理链路。最终,4.7B参数的模型在消费级显卡RTX 4090上实现了80ms的推理延迟和30Hz的实时控制频率。
两阶段预训练
许多具身模型在学习大量动作数据后,强大的视觉理解(VL)能力会退化。为解决此难题,小米设计了两阶段预训练策略。
第一阶段,模型通过跨平台机器人轨迹数据学习粗粒度动作块预测,同时混合视觉语言数据,对齐视觉特征与动作空间,避免VLM遗忘原有能力,建立起“看”与“动”的直觉。
第二阶段则冻结VLM,单独训练DiT进行精细化动作生成。这种分工确保模型在获得高精度控制能力的同时,依然保持着强大的多模态通识能力,为处理复杂指令和人机交互打下基础。
Lambda形注意力
传统异步执行虽能平滑动作衔接,但易产生动作惯性,导致模型过度依赖历史信息而忽视环境变化。Xiaomi-Robotics-0在后训练阶段引入了改良的Lambda形注意力掩码机制来解决此问题。
该机制可理解为给机器人一个带后视镜的瞄准镜:动作块中紧邻前缀的部分回看先前动作以保证连贯,而远离前缀的部分则强制关注当下的视觉反馈,实现实时修正。
这种设计让模型在保证动作流畅性的同时,能够根据环境变化精准调整,最终实现了动作流畅、精度保持与吞吐领先的三重目标。
仿真与实测成绩
在三重技术创新下,Xiaomi-Robotics-0的测评成绩十分硬核。在LIBERO、CALVIN等六个主流VLA仿真基准中,它全面超越了π0、OpenVLA等约30个头部模型,刷新SOTA。其中在Libero-Object任务上成功率达100%。
更重要的是,模型在引入动作能力后,在MMBench、ScienceQA等九个视觉语言理解基准中的大多数指标依然高于对比模型,证明其VL能力未受损。在真实世界测试中,它连续30分钟高成功率完成“叠毛巾”任务,并在“拆卸乐高”任务中达到100%成功率,吞吐量领先约25%。
Xiaomi-Robotics-0不仅是一个高性能的开源模型,更揭示了小米务实进厂的具身智能路线。通过开源,它降低了行业准入门槛,推动技术探讨回归工程细节。这种开放姿态,或将为整个具身机器人产业的加速发展注入新的活力。