VLM4VLA，Qwen团队的具身探索

Qwen团队最新研究VLM4VLA深入探讨了视觉语言模型在具身智能中的应用。这项研究颠覆了传统认知，发现VLM的通用能力并不能直接转化为VLA的控制能力，为具身智能发展提供了全新视角。

智能速览

• VLM通用能力与VLA控制能力不成正比

• 视觉编码器冻结会导致性能灾难性下降

• VLM视觉特征偏向语义理解而非空间特征

• 全量微调是解决语义鸿沟的关键方案

• 控制任务需要几何特征而非语义特征

精华内容

这项研究通过严谨的实验设计，揭示了当前VLA模型发展中的一个核心矛盾：为什么强大的通用视觉语言模型在具身控制任务中表现不佳？

能力差异

研究发现，将VLM通过极简策略头直接生成机器人动作时，一些通用能力较弱的模型反而在控制任务上表现更好。这颠覆了业界普遍认为VLM能力越强VLA效果越好的假设，证明通用能力与控制能力之间存在显著差异。

视觉特征

通过对比实验验证，冻结视觉编码器会导致性能灾难性下降。进一步研究表明，VLM预训练学到的视觉特征更偏向语义理解，而VLA的视觉特征更需要空间特征。这种特征需求的根本差异解释了为何直接使用VLM效果不佳。

解决路径

论文提出的解决方案是让VLM在VLA训练中参与全量微调。通过这种方式，模型能够学会从图像中提取出对控制任务有用的几何特征，而不是仅仅依赖预训练的语义特征，从而实现更精确的机器人操作。

VLM4VLA研究为具身智能发展提供了重要启示，提醒我们不能简单地将通用AI能力迁移到控制任务。未来如何让模型更好地理解物理世界的空间关系，将成为具身智能突破的关键方向。