具身机器人正从舞台表演走向实际生产力,其核心瓶颈在于自主性与反应速度。小米开源的首个VLA大模型Xiaomi-Robotics-0,通过技术创新将推理延迟压缩至80ms,实现了丝滑流畅的连续动作控制,为机器人真正“进厂干活”提供了关键技术解决方案,展示了具身智能走向实用的清晰路径。
智能速览
小米发布首个具身大模型Xiaomi-Robotics-0,推理延迟仅80ms。
模型采用“双脑”架构,通过流匹配技术生成连续平滑动作。
两阶段预训练确保模型在学会动作后不丢失视觉理解能力。
在多项主流仿真与真实任务基准测试中,性能全面超越现有头部模型。
小米选择开源,降低行业门槛,推动具身智能向务实路线发展。
精华内容
机器人要从“能看会想”进化到“能做会干”,关键在于将理解转化为精准、连续的物理动作,这背后是毫秒级的响应速度与强大的控制能力。
双脑协同解难题
为解决机器人动作卡顿问题,Xiaomi-Robotics-0在架构上采用了“双脑”协同设计。大脑部分由VLM(视觉语言模型)负责理解环境与指令,小脑部分则创新性地引入了16层的DiT(Diffusion Transformer),专门负责生成连续动作。
大脑的KV cache会直接传递给小脑,避免了重复计算。同时,通过流匹配训练机制,模型推理时的采样步数从传统扩散模型的数十至数百步大幅压缩至五步。这种设计使得总参数4.7B的模型在消费级显卡RTX 4090上即可实现80ms的低延迟推理,支持30Hz的实时控制频率,动作输出极为平滑。
两阶段训练保智能
传统具身模型在训练大量动作数据后,常出现视觉理解能力退化的问题。为避免模型“变傻”,小米设计了两阶段预训练策略。
第一阶段,模型通过跨平台机器人轨迹数据学习,粗粒度预测动作块,对齐视觉特征与动作空间,并混合视觉语言数据以巩固理解能力。第二阶段则冻结VLM,单独训练DiT进行精细化动作生成,确保模型在掌握复杂操作的同时,依然保留强大的多模态通识能力,为处理长程任务与人机交互打下基础。
改良机制提精度
为解决传统异步执行中机器人过度依赖历史动作而产生“动作惯性”的顽疾,Xiaomi-Robotics-0在后训练阶段引入了改良的Λ形注意力掩码机制。
该机制让动作序列中紧邻前缀的部分回看先前动作,保证衔接不抖动;而远离前缀的部分则强制关注当前的视觉反馈,确保动作能根据环境变化实时修正。这种设计实现了动作流畅度与环境适应性的平衡,让机器人在真实任务中表现出既连贯又精准的理想状态。
硬核成绩单验证
在LIBERO、CALVIN等六个主流VLA仿真基准测试中,Xiaomi-Robotics-0全面超越了包括π0、OpenVLA在内的约30个头部模型,刷新了SOTA纪录。其中在Libero-Object任务上成功率达100%。
真实环境测试中,模型在“叠毛巾”任务上连续作业30分钟保持高成功率,在需要极致微操的“拆卸乐高”任务中,特定场景成功率达到100%,吞吐量领先约25%。同时,在MMBench、ScienceQA等多项VLM评测中也保持高分,证明其并未牺牲通用智能来换取控制能力。
务实路线与开源
结合小米近期开源的触觉驱动精细抓取模型TacRefineNet来看,其在具身智能领域的路线已十分清晰:选择务实的“进厂干活”派,而非“黑科技表演”派。Xiaomi-Robotics-0提供快速响应与连续控制,TacRefineNet提供末端精细操作,二者结合构成了面向工业非结构化环境的“眼-脑-手”协同体系。
更重要的是,小米选择将模型完全开源。这一举措不仅验证了低延迟VLA模型在消费级硬件上运行的可行性,更降低了行业准入门槛,让广大开发者能在此基础上构建垂直应用,有力推动了整个领域从营销概念向工程实践的转变。
Xiaomi-Robotics-0的出现,不仅是一个技术指标上的突破,更代表了具身智能向实用化、工业化迈进的坚实一步。其开源策略则展现了推动行业共同发展的担当,为解决复杂环境下的生产力难题提供了新的思路。这会是具身智能规模化落地的新起点吗?