多模态大语言模型正改变我们处理视觉和语言信息的方式，但其内部视觉信息如何与语言融合的机制仍是未解之谜。这项研究通过层级掩码实验深入揭示了MLLMs的视觉融合过程，发现融合主要发生在浅层，并在深层存在回顾式行为。更关键的是，研究发现了系统性注意力偏差问题，并提出无需训练的对比注意力方法，在多个基准测试上显著提升了模型性能。
智能速览
视觉-语言融合主要发生在模型浅层，而非均匀分布
模型在输出前会在深层表现回顾式重新关注行为
不相关图像区域持续获得高注意力，导致预测噪声
对比注意力通过比较前后集成层捕捉焦点演变
无需训练的方法显著提升LLaVA系列模型性能
精华内容
通过深入剖析多模态大模型的内部运作机制，我们不仅能理解其工作原理，更能找到优化其性能的关键。这项研究通过严谨的实验设计和创新的方法论，为提升多模态理解能力开辟了新路径。
视觉融合层次
通过层级视觉掩码实验发现，MLLMs中的视觉信息整合具有明显的层次性特征。在浅层（0-4层）掩码视觉信息会导致所有数据集性能急剧下降，表明这些层对视觉信息高度依赖。随着层深增加，模型开始逐步整合视觉信息，不同任务的融合完成时间存在差异：VQAv2等简单任务在第16层后性能趋于稳定，而OKVQA等复杂任务则需要更深的融合层次。值得注意的是，第19层之后掩码图像不会导致性能大幅下降，说明视觉语义已得到充分整合。
回顾式行为
实验还发现了一个重要现象：在第29层，即使视觉融合已完成，模型仍会表现出回顾式行为，即重新关注图像。这种机制类似于人类在做出决定前最后看一眼图像的行为。掩码这一层会导致性能显著下降，同时推理时间也明显增加，表明这是模型内部高效推理路径的关键环节。这一发现说明，即使多模态信息已基本整合，模型在最终决策前仍需要视觉信息的最终验证。
注意力偏差问题
通过分析注意力分布发现，MLLMs存在系统性偏差：不相关的图像区域往往在各层持续获得高注意力，这种现象被称为高注意力噪声。如图1所示，黄色虚线区域从浅层到深层一直保持高注意力值，尽管与问题无关。这种层间一致性表明，早期注意力偏差会在网络中传播，导致最终注意力模式不理想。现有解决方法如使用固定中间层的注意力图存在局限性，既僵化又次优。
对比注意力方法
受DoLa方法启发，研究将层间对比概念从输出空间扩展到注意力空间。对比注意力定义为前集成层和后集成层之间注意力图的差异，捕捉模型在整合视觉信息时焦点演变的过程。前集成层代表初始视觉感知阶段，后集成层则是视觉语言完全融合阶段。通过计算这两层的Hellinger距离，选择差异最大的层作为对比层，有效抑制不相关高注意力区域，增强任务相关视觉焦点。
实验验证结果
在六个广泛使用的多模态数据集上的实验证明，该方法显著提升了LLaVA系列模型的性能，达到了最先进水平。在VQAv2、GQA、TextVQA、OKVQA、VizWiz和DocVQA等基准测试上，平均得分为58.17，超过了InternVL-MLP（52.97）和Qwen-VL（50.49）等强大基线。与DoLa和VICrop等无需训练方法相比，该方法始终表现出更高的稳定性和可迁移性，证明了对比注意力在增强多模态理解方面的有效性。
这项研究不仅揭示了多模态大模型视觉融合的内在机制，更重要的是提供了一种实用的优化方法。通过无需训练的对比注意力机制，有效解决了注意力偏差问题，显著提升了模型性能。这些发现为理解MLLMs内部工作机制提供了新视角，也为开发更高效的多模态系统奠定了基础。未来，这种轻量级优化策略能否应用于其他类型的神经网络？
