在多模态领域，简单的特征拼接常导致性能瓶颈。本文探讨了多种高效的交叉注意力技巧，包括选择性注意力头与动态权重分配，旨在为构建性能更强、效率更高的多模态模型提供实践指导。
智能速览
并非所有注意力头都需参与跨模态交互。
通过注意力预算可重新分配权重，聚焦关键信息。
分层交叉注意力和门控机制能提升模型表现。
调整温度系数是控制注意力聚焦度的有效手段。
筛选低效注意力头能节省计算量并提升效果。
精华内容
要提升多模态模型的性能，关键在于精细化控制信息交互。与其将所有特征粗暴拼接，不如引入更智能的机制，让模型学会在何时、何处以及如何关注不同模态的信息。
筛选关键注意力头
传统做法常让所有注意力头都参与跨模态交互，但这并非最优解。借鉴ICLR 2025的VAR方法，核心思路是评估视觉非汇聚比率，只选择对视觉标记注意力权重大于阈值的头参与交互。
在视觉问答任务中，将32个注意力头全部用于交叉注意力曾导致模型难以训练。后续筛选出对视觉标记注意力权重大于0.2的头，让其余头专注于单模态内部建模，模型效果立刻得到改善。
通过统计每个头对不同模态的关注度分布，可以剔除两边都不专注的低效头，既节省了计算量，又提升了最终效果。
重定向注意力权重
模型常将大量注意力浪费在不重要的token上。一个实用的技巧是，将多余的注意力权重从汇聚标记重新分配到更关键的视觉非汇聚标记上。
具体实现时，可设置一个注意力预算参数，例如0.3，收集汇聚token（如[CLS]）30%的注意力权重，再根据视觉token的相对重要性进行重新分配。
在图文检索任务中应用此方法，将文本BOS标记的注意力权重削减一半并分配给图像patch，R@1指标直接提升了4个百分点。
分层交互与门控
单层交叉注意力在建模全局上下文时存在局限。可以采用分层交互策略：第一层通过交叉注意力进行初步的跨模态信息提取；第二层将两个模态的输出拼接后，再通过一个2到3层的标准Transformer进行全局建模。
为避免某一模态主导融合过程，可以引入门控机制。通过一个可学习的门控向量，模型能够动态生成0到1之间的权重，对不同模态的特征进行加权融合。
相较于硬编码的固定比例，这种动态调整的方式在面对模态质量不一的样本时，能自动降低低质量模态的影响，效果更佳。
微调温度系数
交叉注意力中的softmax温度系数是控制模型聚焦程度的关键超参数。通过调整温度，可以影响注意力分布的尖锐程度。
实践中，通常从1.0开始调参。对于需要聚焦关键区域的视觉相关注意力，可以尝试使用0.07这样的小温度值，使模型更集中。
而对于文本侧的注意力，使用0.1左右的温度可以稍微平滑分布，以保持语义的多样性。
构建卓越的多模态模型，需要对注意力机制有更深层次的理解与雕琢。这些从实践中提炼的技巧，不仅能显著提升模型性能，也为探索更高效的融合架构提供了思路。未来，还有哪些更精细的控制机制等待被发现？
