大型语言模型在文本推理上已超越人类，但其视觉伙伴——视觉语言模型的真实能力如何？一项最新研究揭示了惊人结论：通过剥离语言捷径进行纯视觉测试，发现顶尖VL模型的推理能力仅相当于三岁儿童，这为当前AI发展提供了全新的审视角度。
智能速览
研究旨在将VL模型的视觉与语言推理能力进行有效分离。
团队创建了名为BabyVision的数据集以测试纯视觉推理。
最顶尖的VL模型表现也仅与三岁儿童水平相当。
模型难以处理“难以言喻”的视觉信息，导致关键细节丢失。
研究推测，视觉生成或许是弥补其推理短板的新方向。
精华内容
为何在文本领域大杀四方的VL模型，在纯粹的视觉推理上表现如此孱弱？其根本原因与未来突破方向何在？
评估的困境
当前对视觉语言模型（VLM）的评估存在一个核心难题：难以区分其视觉能力与语言能力。当一个视觉任务可以被语言充分描述时，模型往往会依赖其强大的文本推理能力来解决问题，而非真正的视觉理解。这种“语言捷径”使得模型的纯视觉能力被高估，无法得到公允的衡量。
因此，要准确评估VLM的真实视觉水平，必须设计出能够最小化语言干扰的测试基准，确保模型必须动用视觉而非语言来完成任务。
剥离语言测试
为了解决这一难题，研究团队精心设计了一个名为BabyVision的纯视觉数据集。该数据集通过一系列以视觉为中心的任务，旨在强制模型脱离语言辅助进行推理。测试结果令人震惊：即使是最先进的模型，其表现也仅与三岁儿童的水平大致相当。
具体数据显示，Gemini 3-Pro-Preview的视觉推理能力比典型的六岁儿童落后约20%，而另一些模型的表现甚至低于三岁儿童的平均水平。这一发现清晰地揭示了当前顶尖VL模型在纯视觉维度上的巨大短板。
言表之限
那么，为何VL模型会表现如此不佳？研究发现，根源在于这些视觉任务的“难以言喻”性。许多关键的视觉细节在转换成语言描述的过程中会不可避免地丢失。当模型尝试基于这些不完整的文本信息进行逻辑推理时，自然无法得出正确的结论。
这就像试图用文字精确描述蒙娜丽莎微笑的微妙变化一样，语言在传递高密度视觉信息时存在固有的局限性。模型因此丢失了解决问题所需的关键信息，导致推理失败。
生成式新径
既然基于文本的推理存在障碍，那么一个自然的问题便是：视觉生成能否弥补这一差距？模型能否像人类儿童一样，通过绘画、标记等视觉操作来直接表达解决方案？
初步的探索给出了肯定的信号。尽管现有的图像视频生成模型还无法稳定地生成完全正确的答案，但这指向了一个充满潜力的新方向。研究认为，生成模型有潜力发展成为卓越的多模态推理器，尤其是在推理过程依赖于显式视觉操作而非仅仅基于语言时，这条路径或许是解锁真正视觉智能的关键。
这项研究为AI领域敲响了警钟，揭示了视觉语言模型在纯视觉维度上的显著短板。它不仅重新校准了我们对模型能力的认知，也为未来的发展指明了方向——探索超越语言的、基于视觉操作的推理路径，或许才是解锁真正视觉智能的关键。下一个突破会在这里诞生吗？
