一项极简实验揭示了当前主流大模型在视觉理解上的根本缺陷：它们可能更擅长“读”图中的文字，而非真正“看”懂图像的结构。当面对无语义的纯几何图形时，其性能会断崖式下跌。这一发现挑战了我们对多模态模型能力的普遍认知，并指出了通往真正视觉智能的关键障碍。
智能速览
实验通过字符和纯方块两种方式呈现相同的15x15网格。
最强模型在识别字符版时准确率近90%，换成方块后暴跌至30%多。
这表明模型严重依赖文本线索，而非真正的空间感知能力。
模型可能是在将图像文本化后进行推理，而非建立视觉表征。
该缺陷将影响图表理解、几何推理等需要空间分析的任务。
精华内容
一个简单的方块识别实验，为何能引发对整个大模型技术路线的反思？它揭示的，可能不仅仅是模型的短板，更是当前多模态理解的普遍困境。
极简实验设计
研究者设计了一个精巧的测试。他们构建了一个15x15的二进制网格，每个格子只有填充或空白两种状态。关键在于，同一个网格内容通过两种视觉形式呈现：一种是使用字符（如“#”和“.”）来表示，另一种则是无字符的、纯粹的实心方块。两种输入都通过同一个视觉编码器处理，确保了实验的纯粹性，旨在剥离文本语义的干扰，探究模型最基础的图形识别能力。
性能断崖下跌
实验结果令人震惊。当输入是字符网格时，即使是表现最强的模型，其识别准确率也能达到接近90%的优秀水平。然而，当输入内容完全相同、仅仅是表现形式换成纯方块时，所有模型的性能都出现了灾难性下滑，准确率骤降至30%左右。内容未变、模型未变，仅仅是抹去了类似字符的视觉结构，模型的识别能力就几乎腰斩，这暴露出其视觉能力的脆弱性。
依赖文本线索
这种巨大的反差引出了一个核心结论：当前的视觉语言模型在很大程度上依赖图像中的文本式线索。当图像中存在类似字符的结构时，模型能像OCR（光学字符识别）工具一样高效读取。但当面对纯粹的几何图形，缺乏可关联的文字语义时，其空间感知能力便急剧下降。它们可能更擅长“读”图，而非真正“看”图。
缺乏空间表征
更深层次的问题在于，模型可能并未真正建立对空间结构的内部表示。它们的处理流程或许是先将图像转换为内部的文本化描述，然后在语言空间中进行逻辑推理。一旦图像内容不易被“文本化”，整个推理链条便会中断。这种机制的缺失，直接影响了模型在理解工程图纸、分析数据图表、进行几何证明等复杂任务上的表现。
这项研究像一面镜子，照见了当前多模态AI“盛名之下，其实难副”的一面。它提醒我们，离真正拥有人类般的视觉理解能力，还有很长的路要走。未来的模型是应该通过海量数据补齐短板，还是需要在底层架构上寻求突破？这或许是整个行业都需要思考的问题。
关键评论
有网友推测，这可能是因为模型训练数据中的OCR数据占比过高。
这个发现可以解释为何大模型有时看不懂股票走势图等图表。
也有观点认为这只是训练数据的问题，并非技术路线的根本缺陷。
