什么值得买App下载 App ›
连续签到专享现金活动

开源VLA能上真机器人

现有的视觉-语言-动作(VLA)模型虽然演示效果出色,但在真实机器人部署中仍面临权重闭源、推理延迟过高以及控制频率不足等瓶颈。MolmoAct2 旨在解决这些痛点,通过开源权重、优化架构并提供大规模双臂遥操作数据,为社区建立一个覆盖双臂任务且延迟可控的高性能基线模型。
01核心方案架构
  1. MolmoER 视觉-语言 Backbone
    经过专门化训练的 VLM,通过 330 万个空间推理样本优化,采用 specialized-then-rehearse 训练配方,为具身推理提供基础支持。
  2. OpenFAST 开源动作 Tokenizer
    基于跨越五种具身形式的数百万轨迹训练,提供开放权重与开放数据的动作 Token 化方案,实现动作的离散化处理。
  3. 离散-连续混合架构
    通过逐层 KV-cache 条件化机制,将流匹配连续动作专家模型嫁接到离散 Token VLM 之上,平衡精度与效率。
  4. MolmoThink 自适应推理机制
    仅对时间步之间发生变化的场景区域重新进行视觉处理,避免全帧重复计算,在保持几何定位的同时降低延迟。
02数据资源与基础
为了支撑模型训练,研究团队发布了三个新数据集。其中,MolmoAct2-BiMANUAL 数据集包含 720 小时的遥操作双臂轨迹,是目前规模最大的开源双臂数据集。此外,还包含经过质量筛选的 Franka 机械臂 DROID 数据子集以及 SO-100/101 数据子集,覆盖了从中等到低成本平台的多样化任务需求。
03实验表现与结论
在涵盖 7 个仿真与真实世界基准测试的广泛实证研究中,MolmoAct2 表现出优于同类基线模型的性能。通过自适应推理技术,模型将延迟降低至先前水平的 50%。此外,其配套的 Molmo2-ER 模型在 13 个具身推理基准上超越了 GPT-4o 和 Gemini 1.5 Pro。
评估维度MolmoAct2 表现对比结果
延迟控制通过 MolmoThink 机制优化计算延迟降低至先前水平的 50%
具身推理能力基于 Molmo2-ER Backbone在 13 个基准上超越 GPT-4o 和 Gemini 1.5 Pro
机器人任务执行在 7 个仿真及真实世界基准测试稳定领先于现有强基线模型
数据基础720 小时开源双臂遥操作数据目前最大的开源双臂数据集

MolmoAct2 核心能力评估概览

综上所述,实现 VLA 模型在真实世界的有效部署,需要权重开放、充足的双臂数据、干净的动作离散化以及高效的视觉计算协同配合。MolmoAct2 通过这四个维度的优化,为开源机器人控制模型树立了新的标准。

评论

评论区空态插画

当前文章无评论,是时候发表评论了