具身智能领域的一大难题是让机器人既有强大的理解能力,又能敏捷地执行物理任务。现有的VLA模型常因推理延迟而显得“反应迟钝”。小米开源的Xiaomi-Robotics-0模型,通过独特的架构设计和训练方法,成功解决了这一痛点,实现了在消费级显卡上的实时推理与流畅动作,并在多项权威测试中刷新了纪录。
智能速览
模型参数47亿,能在消费级显卡上实现实时推理。
采用MoT架构,分离视觉理解“大脑”与动作执行“小脑”。
在三大主流仿真测试中对标30种模型,全部取得最优结果。
真实场景下能流畅完成叠毛巾、拆解积木等高难度任务。
模型已完全开源,提供技术主页、代码与模型权重。
精华内容
这款模型的奥秘何在?它通过精巧的架构设计,将通用理解与精细控制解耦,并辅以创新的训练策略,从而赋予了机器人真正的“物理智能”。
解耦架构
基于MoT架构,模型被分为视觉语言大脑(VLM)和动作执行小脑(Action Expert)。VLM负责理解指令和视觉信息,捕捉空间关系。Action Expert则由多层Diffusion Transformer(DiT)构成,它不输出单一动作,而是生成“动作块”,并通过流匹配技术确保动作的平滑与精准。这种设计兼顾了通用理解与精细控制,是实现物理智能的基础。
进化训练
为避免模型在学习动作时“变笨”,团队设计了跨模态预训练。通过VLM协同训练,引入动作预测机制,对齐视觉与动作空间。随后冻结VLM,专注训练DiT从噪声中恢复精准动作序列,这一阶段完全依赖KV特征生成。后训练阶段则通过异步推理、Clean Action Prefix等技术,解决了真机动作断层问题,并提升了对环境变化的反应速度。
全面SOTA
在仿真测试中,模型在LIBERO、CALVIN和SimplerEnv三大基准的全部任务中,均超越了30种现有模型,排名第一。在更具挑战的真实物理世界,该模型在双臂机器人上成功执行了积木拆解和叠毛巾等长周期任务,手眼协调性出色,能灵活处理刚性与柔性物体。其多模态理解能力也在相关测试中表现优异。
开源共享
小米已将Xiaomi-Robotics-0模型全面开源,包括技术主页、代码和模型权重。此举旨在降低具身智能领域的研究门槛,推动技术社区的共同进步与爆发。开发者可以直接获取并使用这一高性能模型,加速相关应用的研究与落地。
Xiaomi-Robotics-0的出现,为具身智能领域提供了一个兼顾思考与行动的优秀范例。它的开源不仅是一次技术贡献,更是对行业生态的强力推动。当机器人能像人类一样理解世界并敏捷应对,我们的工作和生活将会迎来怎样的变革?
关键评论
网友期待该模型与智能家居结合,加速未来生活的到来。
技术爱好者认为,4B参数规模下实现全面SOTA,已跻身国产模型第一梯队。
有人展望该技术或可扩展至自动驾驶领域,展现巨大潜力。