张大妈

小米的首代机器人VLA大模型来了!丝滑赛德芙,推理延迟仅80ms

源自今日头条:量子位

02-14 10:29

具身机器人正从表演迈向生产,核心在于解决动作停顿。小米首个VLA大模型Xiaomi-Robotics-0凭借三项创新,实现80ms推理延迟与30Hz实时控制,在消费级显卡上即可流畅运行。此模型已开源,为具身智能的工业化落地提供了新的技术路径与可能性。

小米的首代机器人VLA大模型来了!丝滑赛德芙,推理延迟仅80ms智能速览

  • 小米VLA模型实现80ms推理延迟,支持30Hz实时控制。

  • 采用“大脑+小脑”双脑协同架构,动作生成更丝滑精准。

  • 两阶段预训练策略,确保模型在学会动作后不失视觉理解能力。

  • 在多个主流仿真与真实世界任务中刷新SOTA纪录,且全面开源。

小米的首代机器人VLA大模型来了!丝滑赛德芙,推理延迟仅80ms精华内容

要实现机器人真正的生产力,关键在于解决动作的连续性与实时性。Xiaomi-Robotics-0通过架构与训练创新,打破了具身模型思维卡顿的固有难题,让低延迟高智能成为现实。

双脑协同架构

Xiaomi-Robotics-0采用了双脑协同的MoT架构,将VLM视觉语言模型作为“大脑”负责全局理解,并创新性地引入16层DiT(Diffusion Transformer)作为“小脑”专门输出连续动作。

这种设计改变了传统离散token方式带来的精度截断问题。大脑的KV cache会传递给小脑,后者配合流匹配技术直接生成连续动作向量,使动作更平滑。

通过流匹配训练,推理采样步数从数十至数百步压缩至五步,大幅缩短了推理链路。最终,4.7B参数的模型在消费级显卡RTX 4090上实现了80ms的推理延迟和30Hz的实时控制频率。

两阶段预训练

许多具身模型在学习大量动作数据后,强大的视觉理解(VL)能力会退化。为解决此难题,小米设计了两阶段预训练策略。

第一阶段,模型通过跨平台机器人轨迹数据学习粗粒度动作块预测,同时混合视觉语言数据,对齐视觉特征与动作空间,避免VLM遗忘原有能力,建立起“看”与“动”的直觉。

第二阶段则冻结VLM,单独训练DiT进行精细化动作生成。这种分工确保模型在获得高精度控制能力的同时,依然保持着强大的多模态通识能力,为处理复杂指令和人机交互打下基础。

Lambda形注意力

传统异步执行虽能平滑动作衔接,但易产生动作惯性,导致模型过度依赖历史信息而忽视环境变化。Xiaomi-Robotics-0在后训练阶段引入了改良的Lambda形注意力掩码机制来解决此问题。

该机制可理解为给机器人一个带后视镜的瞄准镜:动作块中紧邻前缀的部分回看先前动作以保证连贯,而远离前缀的部分则强制关注当下的视觉反馈,实现实时修正。

这种设计让模型在保证动作流畅性的同时,能够根据环境变化精准调整,最终实现了动作流畅、精度保持与吞吐领先的三重目标。

仿真与实测成绩

在三重技术创新下,Xiaomi-Robotics-0的测评成绩十分硬核。在LIBERO、CALVIN等六个主流VLA仿真基准中,它全面超越了π0、OpenVLA等约30个头部模型,刷新SOTA。其中在Libero-Object任务上成功率达100%。

更重要的是,模型在引入动作能力后,在MMBench、ScienceQA等九个视觉语言理解基准中的大多数指标依然高于对比模型,证明其VL能力未受损。在真实世界测试中,它连续30分钟高成功率完成“叠毛巾”任务,并在“拆卸乐高”任务中达到100%成功率,吞吐量领先约25%。

Xiaomi-Robotics-0不仅是一个高性能的开源模型,更揭示了小米务实进厂的具身智能路线。通过开源,它降低了行业准入门槛,推动技术探讨回归工程细节。这种开放姿态,或将为整个具身机器人产业的加速发展注入新的活力。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐