这篇来自清华与TRI团队的系统性研究,基于89种模型配置和4000小时机器人数据的实证测试,揭示了多模态协同训练中被广泛默认却未经验证的关键假设。它不提供操作手册,而是划清能力边界,帮助研究者避开资源浪费型试错。
智能速览
VL数据与人类视频在预训练和联合训练两阶段均带来稳定增益,是真正意义上的‘通用燃料’
跨本体数据与轨迹文本描述仅在预训练阶段有效,联合训练阶段增益趋近于零
Latent Action在数据量超阈值后失效;FAST Token不仅无效,反而降低泛化性能
协同训练主要提升OOD任务泛化能力,对in-domain任务几乎无改善
VLA领域不存在‘数据越多越好’的简单规律,模态有效性高度依赖训练阶段与任务分布
精华内容
当89组实验结果指向同一结论:协同训练不是万能加速器,而是一把需要精确校准的手术刀——它的价值不在堆叠数据,而在识别哪些数据、在哪个阶段、解决哪类问题。
阶段敏感性
实验明确显示,五类数据对VLA模型的影响存在显著阶段依赖性。VL数据(如LAION-50M图像-文本对)和人类视频在预训练与联合训练两个阶段均带来12.3%~18.7%的OOD任务准确率提升;而跨本体机器人数据(如不同机械臂采集的轨迹)与动作文本描述,在联合训练阶段的增益下降至0.4%±0.2%,统计上不可区分于噪声。这说明基础视觉表征可迁移,但动作映射高度依赖本体-任务耦合分布。
Token设计陷阱
Latent Action编码在机器人数据量低于500小时时,使抓取任务成功率提升9.1%,但当数据达2000小时后,提升幅度降至0.3%。FAST Token则呈现负向效应:在标准评估集上,使用FAST Token的模型OOD泛化得分平均下降6.8%,且在跨场景重定位任务中失败率上升23%。作者推测其原因在于FAST强制压缩动作空间,削弱了模型对微小运动差异的判别力。
泛化性窄域提升
协同训练对in-domain任务(如训练集同构的桌面推箱子)平均提升仅0.5%,置信区间为[-0.3%, 1.2%];但在OOD任务(如训练未见的软体抓取、非结构化环境导航)中,平均提升达14.6%,且95%置信区间完全高于零。这解释了为何部分VLM4VLA工作报告VL能力增强却下游VLA任务无进展——多数基准仍在IID设定下运行,掩盖了协同训练的真实作用域。
这项研究的价值不在于给出最优方案,而在于建立可复现的归因框架:数据模态、训练阶段、任务分布三者构成VLA协同训练的三角约束。未来工作若想突破瓶颈,需转向OOD感知的数据构造、阶段自适应融合机制,而非继续扩大同质数据规模。具身智能的scaling law,或许根本不是一条直线。