视觉语言模型在融合图文信息时表现出色，但其处理模态不一致性的能力却鲜有研究。一项深入研究发现，这些模型普遍存在“盲目相信文本”的现象：当视觉与文本信息冲突时，模型会过度依赖文本，忽视视觉证据，导致性能显著下降。这一发现揭示了VLMs内在的模态偏好，为提升模型鲁棒性和安全性提供了关键视角。
智能速览
研究发现视觉语言模型存在“盲目相信文本”现象。
扩大语言模型规模对缓解文本偏差效果有限。
文本标记前置会显著增加模型的文本偏好。
该现象的根源在于训练数据的不平衡。
精华内容
面对视觉与文本的矛盾，视觉语言模型（VLMs）会做出何种选择？研究发现，它们并非公正的裁判，而是表现出对文本的“盲目信仰”。这种偏好如何形成，又该如何应对？
文本盲从现象
研究发现，当视觉语言模型（VLMs）面对相互矛盾的视觉和文本信息时，会表现出一种被称为“盲目相信文本”的现象。即使图像内容清晰且与文字描述完全不符，模型也倾向于优先采信文本信息，导致在视觉中心的任务中性能出现大幅下降。这种对文本的过度依赖，暴露了VLMs在多模态信息融合中的内在缺陷和潜在安全风险。
关键影响因素
研究通过多维度实验揭示了影响这一偏差的关键因素。指令提示，如要求模型“关注图像”或“关注文本”，对模态偏好的影响相对轻微。扩大语言模型的规模（例如从7B到34B参数）能够轻微减少文本偏差，但效果有限。值得注意的是，文本与查询的相关性越高，模型对文本的偏好就越强烈。此外，输入标记的顺序也至关重要：将文本标记置于图像标记之前，会显著增加模型的文本偏差。
单模态确定性
模型对不同模态的偏好，还受到单模态确定性的深刻影响。当模型对图像内容的确定性高，而对文本内容的确定性低时，它会更加倾向于视觉数据；反之亦然。一个有趣的发现是，当模型对图像和文本的确定性都较低时，它往往不会偏向任何单一模态，而是倾向于给出一个无法明确归因于图像或文本的“其他”答案。这表明模型的决策过程是基于对不同信息源可信度的动态评估。
根源与缓解
追根溯源，VLMs“盲目相信文本”的现象主要源于训练数据中图文信息的不平衡。研究者指出，通过针对性的监督微调（Supervised Fine-tuning），可以有效减少模型的文本偏差，使其在处理模态冲突时更加均衡。这一发现为开发更鲁棒、更可靠的视觉语言模型提供了明确的优化方向，并提醒研究者在模型设计和应用部署中必须充分考虑其模态偏好特性。
该研究系统性地揭示了VLMs的文本偏好问题，从现象观察到影响因素分析，再到根源探究，为我们理解并改进多模态模型提供了宝贵洞见。未来，如何构建能够公正权衡图文信息的VLMs，将是确保其安全、可靠应用的关键一步。这值得所有AI从业者深入思考。
