小米开源机器人“大脑”,终结动作卡顿,性能超越谷歌Meta

源自29位全网作者

02-15 07:45

近期,小米正式发布并开源了其首代机器人视觉-语言-动作(VLA)大模型——Xiaomi-Robotics-0,引发了业界的广泛关注。这款拥有47亿参数的模型,旨在将视觉语言的理解能力与高性能的实时执行能力相结合,以解决当前具身智能领域普遍存在的“动作卡顿、反应迟缓”等行业痛点。

该模型在技术架构上的一大创新是采用了“大脑+小脑”的混合架构(MoT)。其中,“大脑”部分由一个多模态视觉语言大模型(VLM)担当,负责理解人类下达的自然语言指令,并从高清视觉输入中捕捉复杂的空间关系。而“小脑”部分则嵌入了扩散模型(DiT),专门用于生成平滑、连贯的动作序列。这种分工协作的设计,旨在让机器人既能“听懂人话”,又能“手脚麻利”。

小米开源机器人“大脑”,终结动作卡顿,性能超越谷歌Meta

为了让模型在学习动作技能后,不丧失原有的多模态理解与常识推理能力,小米团队设计了一套两阶段训练体系。第一阶段进行跨模态预训练,将视觉语言特征与动作空间对齐;第二阶段则冻结“大脑”VLM,专注于训练“小脑”DiT,精细化动作生成能力。这种“先对齐再精修”的策略,有效避免了模型“学会干活就忘了思考”的问题。

小米开源机器人“大脑”,终结动作卡顿,性能超越谷歌Meta

针对真实物理世界中机器人常因计算延迟而产生的“动作断层”问题,Xiaomi-Robotics-0引入了异步推理模式。该模式将模型推理与机器人执行解耦,从机制上保证了动作的流畅性。同时,结合特殊的Λ形注意力掩码(Λ-shape Attention Mask)技术,模型在执行长周期任务时,既能确保动作轨迹的连续,又能强制关注实时的视觉反馈,从而提升对环境变化的响应能力。

在性能表现上,Xiaomi-Robotics-0在LIBERO、CALVIN和SimplerEnv等多个主流仿真测试基准中,其表现超越了包括Meta的OpenVLA和Google DeepMind的Pi在内的多种模型,刷新了多项行业纪录(SOTA)。在真实机器人平台的测试中,该模型也成功驱动双臂机器人完成了拆解积木、叠毛巾等长周期、高难度的精细操作任务,展现出对刚性物体和柔性织物良好的处理能力和手眼协调性。尤为关键的是,该模型能够在消费级显卡(如RTX 4090)上实现低至80ms的实时推理,大大降低了部署门槛。

小米开源机器人“大脑”,终结动作卡顿,性能超越谷歌Meta

小米此次不仅发布了模型,还将其技术主页、代码及模型权重全部开源。这一举动被外界视为小米在推动具身智能行业发展、构建开放生态方面的务实举措。通过提供一个可用的“技术底座”,中小企业和开发者可以不必从零开始,从而加速机器人应用的开发和落地。

综合来看,Xiaomi-Robotics-0的发布,不仅是小米在AI和机器人领域技术实力的展现,也反映了其清晰的战略布局。该模型务实地瞄准了机器人“进厂干活”等实际应用场景,结合小米已有的触觉感知等技术,构建了“手脑协同”的完整技术栈。这种技术突破与小米庞大的智能硬件生态、智能制造及智能驾驶业务相结合,形成了跨业务、跨场景的技术复用潜力,为其在未来具身智能的竞争中构筑了独特的生态壁垒。

内容由AI生成

精选参考来源

1. 小米开始秀技术了小米开源首代机器人 VLA 大模型,刷新多项 SOTA!Xiaomi-Robotics-0,拥有 47 ...

小米开始秀技术了小米开源首代机器人 VLA 大模型,刷新多项 SOTA!Xiaomi-Robotics-0,拥有 47 ... 小米开始秀技术了小米开源首代机器人 VLA 大模型,刷新多项 SOTA!

2. 小米最新的具身智能VLA模型 Xiaomi-Robotics-0,该模型在众多主流测试集中均取得了当前最优成绩,并已完成...

小米最新的具身智能VLA模型 Xiaomi-Robotics-0,该模型在众多主流测试集中均取得了当前最优成绩,并已完成... 小米最新的具身智能VLA模型 Xiaomi-Robotics-0,该模型

3. 小米AI团队在闷声干大事啊,之前突然开源的MiMo大模型表现就很惊喜,现在又掏出了Xiaomi-Robotics-0首代...

小米AI团队在闷声干大事啊,之前突然开源的MiMo大模型表现就很惊喜,现在又掏出了Xiaomi-Robotics-0首代... 小米AI团队在闷声干大事啊,之前突然开源的MiMo大模型表现就很惊喜,现

4. #小米开源首代机器人VLA大模型#小米刚放出一个大消息:开源了自家第一代机器人 VLA 大模型 ——Xiaomi-Rob...

#小米开源首代机器人VLA大模型#小米刚放出一个大消息:开源了自家第一代机器人 VLA 大模型 ——Xiaomi-Rob... 小米刚放出一个大消息:开源了自家第一代机器人 VLA 大模型 ——Xia

5. #小米开源首代机器人VLA大模型##具身智能# 出现了,小米的首代机器人VLA大模型!名叫Xiaomi-Robotics...

#小米开源首代机器人VLA大模型##具身智能# 出现了,小米的首代机器人VLA大模型!名叫Xiaomi-Robotics... 出现了,小米的首代机器人VLA大模型!名叫Xiaomi-Robotic

6. 继Mimo-Flash刷新多模态推理效率后,小米今日正式开源其首代视觉-语言-动作(VLA)大模型 Xiaomi-Rob...

继Mimo-Flash刷新多模态推理效率后,小米今日正式开源其首代视觉-语言-动作(VLA)大模型 Xiaomi-Rob... 继Mimo-Flash刷新多模态推理效率后,小米今日正式开源其首代视觉-

7. #雷军公布小米机器人最新进展##小米发布机器人基座模型# 就在刚刚,我米技术对外发布开源VLA模型Xiaomi-Robo...

#雷军公布小米机器人最新进展##小米发布机器人基座模型# 就在刚刚,我米技术对外发布开源VLA模型Xiaomi-Robo... 就在刚刚,我米技术对外发布开源VLA模型Xiaomi-Robotics

8. 在我看来,小米此次发布的Xiaomi-Robotics-0机器人基座模型,无疑是国内机器人领域一次极具分量的技术突破。B...

在我看来,小米此次发布的Xiaomi-Robotics-0机器人基座模型,无疑是国内机器人领域一次极具分量的技术突破。B... 在我看来,小米此次发布的Xiaomi-Robotics-0机器人基座模型

9. 真猛啊!小米重磅开源首代机器人VLA大模型Xiaomi-Robotics-0来了,47亿参数加持的“大脑+小脑”混合架构...

真猛啊!小米重磅开源首代机器人VLA大模型Xiaomi-Robotics-0来了,47亿参数加持的“大脑+小脑”混合架构... 真猛啊!小米重磅开源首代机器人VLA大模型Xiaomi-Robotics

10. 小米开源首代机器人VLA大模型 消费级显卡可实时推理

小米开源首代机器人VLA大模型 消费级显卡可实时推理 小米开源首代机器人VLA大模型 消费级显卡可实时推理CNMO科技1770867884 【CNMO科技消息】2月12日,小米正式对外发布并开源首款机

11. #小米发布机器人基座模型# 小米这次真的把“硬核”两个字刻在了科技圈的天花板上,雷总今天公布了小米机器人团队的阶段性研究...

#小米发布机器人基座模型# 小米这次真的把“硬核”两个字刻在了科技圈的天花板上,雷总今天公布了小米机器人团队的阶段性研究... 小米这次真的把“硬核”两个字刻在了科技圈的天花板上,雷总今天公布了小米

12. 今天小米机器人团队正式开源了阶段性研究成果: Xiaomi-Robotics-0,兼具视觉语言理解与高性能实时执行能力的...

今天小米机器人团队正式开源了阶段性研究成果: Xiaomi-Robotics-0,兼具视觉语言理解与高性能实时执行能力的... 今天小米机器人团队正式开源了阶段性研究成果: Xiaomi-Roboti

13. 小米机器人最新进展,具身智能基座模型开源落地。 雷军正式公布小米机器人阶段性成果,Xiaomi-Robotics-0 机...

小米机器人最新进展,具身智能基座模型开源落地。 雷军正式公布小米机器人阶段性成果,Xiaomi-Robotics-0 机... 小米机器人最新进展,具身智能基座模型开源落地。 雷军正式公布小米机器人阶

14. #雷军公布小米机器人最新进展##小米发布机器人基座模型#小米正式开源首代机器人 VLA 大模型 Xiaomi-Robot...

#雷军公布小米机器人最新进展##小米发布机器人基座模型#小米正式开源首代机器人 VLA 大模型 Xiaomi-Robot... 小米正式开源首代机器人 VLA 大模型 Xiaomi-Robotics-

15. 小米突然放出重磅消息,开源具身智能模型Xiaomi-Robotics-0,直接刷新了多项行业纪录,看得出来,机器人真的是...

小米突然放出重磅消息,开源具身智能模型Xiaomi-Robotics-0,直接刷新了多项行业纪录,看得出来,机器人真的是... 小米突然放出重磅消息,开源具身智能模型Xiaomi-Robotics-0

16. 先说关键词,你米这次开源了自家最新的机器人Vla大模型,该模型能力行业第一梯队,小米这次Benchmark全面超越Ope...

先说关键词,你米这次开源了自家最新的机器人Vla大模型,该模型能力行业第一梯队,小米这次Benchmark全面超越Ope... 先说关键词,你米这次开源了自家最新的机器人Vla大模型,该模型能力行业第

17. #雷军公布小米机器人最新进展##小米发布机器人基座模型#小米机器人业务再迎重磅突破!正式开源首代机器人VLA大模型Xia...

#雷军公布小米机器人最新进展##小米发布机器人基座模型#小米机器人业务再迎重磅突破!正式开源首代机器人VLA大模型Xia... 小米机器人业务再迎重磅突破!正式开源首代机器人VLA大模型Xiaomi-

18. 小米开源47亿参数机器人大模型,“大脑+小脑”架构三大测试刷新纪录,2025年至2026年或迎量产元年

小米开源47亿参数机器人大模型,“大脑+小脑”架构三大测试刷新纪录,2025年至2026年或迎量产元年 小米开源47亿参数机器人大模型,“大脑+小脑”架构三大测试刷新纪录,2025年至2026年或迎量

19. 如何评价小米开源首代机器人VLA大模型Xiaomi-Robotics-0?

如何评价小米开源首代机器人VLA大模型Xiaomi-Robotics-0? 看到小米这次直接把 Xiaomi-Robotics-0*的权重和代码全扔出来,我第一感觉是:小米知道自己需要做什么,他们要做

20. 开源自动驾驶和机器。小米开源自动驾驶和机器人统一的「小米具身基座模型 MiMo-Embodied」。 人类之所以能无缝切换于「厨房做饭」、「客厅整理」和「道路驾驶」,是因为我们依赖同一套对空间、物体和

开源自动驾驶和机器。小米开源自动驾驶和机器人统一的「小米具身基座模型 MiMo-Embodied」。 人类之所以能无缝切换于「厨房做饭」、「客厅整理」和「道路驾驶」,是因为我们依赖同一套对空间、物体和

21. 小米开源47亿参数VLA 破解机器人执行痛点 通用智能新信号?

小米开源47亿参数VLA 破解机器人执行痛点 通用智能新信号? 小米开源47亿参数VLA 破解机器人执行痛点 通用智能新信号?科技思维1770921638 小米近期开源了一款47亿参数的VLA模型Xi

22. 【雷军公布小米机器人新进展:具身智能VLA模型发布并开源|#懂车帝视线# 】#懂车帝原创# 小米在机器人领域迎来最新进展...

【雷军公布小米机器人新进展:具身智能VLA模型发布并开源|#懂车帝视线# 】#懂车帝原创# 小米在机器人领域迎来最新进展... 【雷军公布小米机器人新进展:具身智能VLA模型发布并开源| 小米在机器人

23. 马上要过大年了,小米的喜事一件接一件,今天下午#雷军公布小米机器人最新进展##小米发布机器人基座模型#是为小米在硬核科技...

马上要过大年了,小米的喜事一件接一件,今天下午#雷军公布小米机器人最新进展##小米发布机器人基座模型#是为小米在硬核科技... 马上要过大年了,小米的喜事一件接一件,今天下午是为小米在硬核科技领域取得

24. 呼呼,小米机器人新动作!!!#雷军公布小米机器人最新进展#小米开源首代机器人 VLA 大模型 Xiaomi-Roboti...

呼呼,小米机器人新动作!!!#雷军公布小米机器人最新进展#小米开源首代机器人 VLA 大模型 Xiaomi-Roboti... 呼呼,小米机器人新动作!!!其实,熟悉小米的朋友都知道,小米很早就有布局

25. #雷军公布小米机器人最新进展# 原文(http://t.cn/AXthez36)专有名词挺多的,我给大家翻译成大白话。 ...

#雷军公布小米机器人最新进展# 原文(http://t.cn/AXthez36)专有名词挺多的,我给大家翻译成大白话。 ... 原文(http://t.cn/AXthez36)专有名词挺多的,我给大

26. 小米的首代机器人VLA大模型来了,丝滑赛德芙,推理延迟仅80ms

小米的首代机器人VLA大模型来了,丝滑赛德芙,推理延迟仅80ms 小米的首代机器人VLA大模型来了,丝滑赛德芙,推理延迟仅80ms36氪1770944215 就是说,这几天还有哪档晚会节目是没有机器人

27. 小米的首代机器人VLA大模型来了!丝滑赛德芙,推理延迟仅80ms

小米的首代机器人VLA大模型来了!丝滑赛德芙,推理延迟仅80ms 小米的首代机器人VLA大模型来了!丝滑赛德芙,推理延迟仅80ms量子位1770900196 衡宇 发自 麦蒿寺量子位 | 公众号 Qb

28. 很多人没意识发生什么事情了。这是行业地震了。小米一个手机起家企业,直接跟全球顶级科学家聚集谷歌 DeepMind打的有来...

很多人没意识发生什么事情了。这是行业地震了。小米一个手机起家企业,直接跟全球顶级科学家聚集谷歌 DeepMind打的有来... 很多人没意识发生什么事情了。这是行业地震了。小米一个手机起家企业,直接跟

29. 事真闹大了。这在全球ai领域里面,已经是核弹级别一样的发明了。不亚于当初deepseek的冲击力。这个大模型直接全面 S...

事真闹大了。这在全球ai领域里面,已经是核弹级别一样的发明了。不亚于当初deepseek的冲击力。这个大模型直接全面 S... 事真闹大了。这在全球ai领域里面,已经是核弹级别一样的发明了。不亚于当初
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐