尽管大模型语言能力惊人，但其“看懂”世界的能力却远低于预期。一项新评测揭示了模型在基础视觉能力上的系统性缺失，这或许是其通往通用智能的关键瓶颈。
智能速览
新评测集BabyVision显示，顶尖多模态模型视觉能力普遍低于3岁儿童。
视觉问题存在“unspeakable”特性，语言推理无法完全解决，导致模型在追踪、空间想象等任务中翻车。
BabyVision将视觉能力拆解为精细辨别、视觉追踪、空间感知等4大类22个子任务。
最强闭源模型Gemini准确率49.7%，远低于人类基线的94.1%。
生成式作答方式可能成为补齐视觉短板的新方向，让模型像人一样“画”出答案。
精华内容
为何大模型在国际数学奥林匹克上能夺金，却在小学几何题上栽跟头？答案藏在视觉能力的基石里。
模型与孩童的差距
为测试纯视觉能力，研究者让顶尖模型与不同年龄段儿童同答一份试卷。结果显示，绝大多数模型得分低于3岁儿童基线，表现最好的Gemini也仅勉强超过3岁水平，距离6岁儿童仍有约20个百分点的差距。
例如，在一道连线垃圾分类题中，模型能写出一长段推理，却在最基础的视觉追踪上将两条线接反，暴露了其根本性的视觉缺陷。
四大视觉能力短板
研究将视觉能力拆解为精细辨别、视觉追踪、空间感知和视觉模式识别四大类。模型在这些任务上的系统性落后，根本原因在于这些视觉问题是“unspeakable”的——无法在不损失信息的情况下被语言完整描述。
无论是追踪线条时遇到的分叉爆炸，还是在3D方块计数时漏掉隐藏块，都源于模型试图用离散的语言 token 去理解和处理连续的视觉信息，导致关键细节在“翻译”中丢失。
生成式作答的探索
当文本推理不足以解决问题时，研究团队提出了一个新方向：让模型像孩子一样，通过画线、圈选等视觉操作来作答。这就是BabyVisionGen，一个要求模型生成图像或视频来解题的新基准。
初步评测显示，这种生成式推理方式能让模型展现出更接近人类的行为模式，比如真的去描出轨迹，尽管整体上距离稳定正确还有距离，但这为弥补视觉短板提供了一个富有前景的思路。
BabyVision量化了多模态模型与真实视觉能力的差距，为具身智能的发展指明了补足基础的方向。当模型不再仅靠语言“看”世界，智能才真正拥有了身体。
