开源VLA能上真机器人
现有的视觉-语言-动作(VLA)模型虽然演示效果出色,但在真实机器人部署中仍面临权重闭源、推理延迟过高以及控制频率不足等瓶颈。MolmoAct2 旨在解决这些痛点,通过开源权重、优化架构并提供大规模双臂遥操作数据,为社区建立一个覆盖双臂任务且延迟可控的高性能基线模型。
01核心方案架构
- MolmoER 视觉-语言 Backbone
经过专门化训练的 VLM,通过 330 万个空间推理样本优化,采用 specialized-then-rehearse 训练配方,为具身推理提供基础支持。 - OpenFAST 开源动作 Tokenizer
基于跨越五种具身形式的数百万轨迹训练,提供开放权重与开放数据的动作 Token 化方案,实现动作的离散化处理。 - 离散-连续混合架构
通过逐层 KV-cache 条件化机制,将流匹配连续动作专家模型嫁接到离散 Token VLM 之上,平衡精度与效率。 - MolmoThink 自适应推理机制
仅对时间步之间发生变化的场景区域重新进行视觉处理,避免全帧重复计算,在保持几何定位的同时降低延迟。
02数据资源与基础
为了支撑模型训练,研究团队发布了三个新数据集。其中,MolmoAct2-BiMANUAL 数据集包含 720 小时的遥操作双臂轨迹,是目前规模最大的开源双臂数据集。此外,还包含经过质量筛选的 Franka 机械臂 DROID 数据子集以及 SO-100/101 数据子集,覆盖了从中等到低成本平台的多样化任务需求。
03实验表现与结论
在涵盖 7 个仿真与真实世界基准测试的广泛实证研究中,MolmoAct2 表现出优于同类基线模型的性能。通过自适应推理技术,模型将延迟降低至先前水平的 50%。此外,其配套的 Molmo2-ER 模型在 13 个具身推理基准上超越了 GPT-4o 和 Gemini 1.5 Pro。
| 评估维度 | MolmoAct2 表现 | 对比结果 |
|---|---|---|
| 延迟控制 | 通过 MolmoThink 机制优化计算 | 延迟降低至先前水平的 50% |
| 具身推理能力 | 基于 Molmo2-ER Backbone | 在 13 个基准上超越 GPT-4o 和 Gemini 1.5 Pro |
| 机器人任务执行 | 在 7 个仿真及真实世界基准测试 | 稳定领先于现有强基线模型 |
| 数据基础 | 720 小时开源双臂遥操作数据 | 目前最大的开源双臂数据集 |
MolmoAct2 核心能力评估概览
综上所述,实现 VLA 模型在真实世界的有效部署,需要权重开放、充足的双臂数据、干净的动作离散化以及高效的视觉计算协同配合。MolmoAct2 通过这四个维度的优化,为开源机器人控制模型树立了新的标准。
当前文章无评论,是时候发表评论了