什么值得买App下载 App ›
连续签到专享现金活动

西交:一次注意力利用,救回被删的视觉信息

多模态大模型(MLLM)在视觉推理任务中广泛应用 Chain-of-Thought(CoT)技术,虽然显著提升了准确率,但随之产生的高延迟与高成本问题亟待解决。现有的推理链压缩方法大多沿袭纯文本视角,仅关注语言层面的信息量,导致在多模态场景中误删关键的视觉信息,进而引发模型幻觉。针对这一痛点,本文提出的 V-Skip 方法首次系统性解决了多模态推理压缩导致的视觉失忆问题,在保持精度的同时实现了显著加速。
01核心方案:V-Skip 与视觉锚定信息瓶颈
V-Skip 方法的核心在于提出了“视觉失忆”这一关键失败模式,指出现有压缩方法会错误删除对视觉理解至关重要但在语言上看似多余的词汇(如颜色、数字)。为此,研究团队建立了“视觉锚定信息瓶颈(VA-IB)”这一新建模视角,将 CoT 压缩表述为同时满足“回答充分性”与“视觉锚定性”的信息论优化问题,而非单纯追求最短文本。
02关键技术:双通路打分与 Union-of-Saliency
为了精准识别需保留的信息,V-Skip 采用了双通路打分机制与 Union-of-Saliency 门控策略。这一机制通过并行评估语言与视觉两个维度的信息价值,系统性防止了关键视觉锚点被错误剪枝,确保了推理过程的完整性与准确性。

双通路打分机制解析

文本通路
  • 基于 token 的语言 surprisal(信息量)进行评估
  • 侧重于语言层面的冗余度分析
视觉通路
  • 基于跨模态注意力的 Visual Anchoring Score 进行评估
  • 侧重于视觉内容对当前 token 的锚定程度
Union-of-Saliency 门控策略规定,只要 token 在“语言重要”或“视觉重要”任一通路中表现显著,就会被保留。这种策略有效避免了“语言冗余等同于视觉冗余”的误判,为视觉推理提供了坚实的保障。
03工程落地:LoRA 蒸馏实现零推理开销
在工程实现层面,V-Skip 利用 LoRA 蒸馏技术将剪枝策略离线融入模型参数中。这意味着在推理阶段,模型无需进行额外的打分计算或注意力分析,真正实现了“零推理开销”。这一设计不仅简化了部署流程,也为实际应用中的高效推理奠定了基础。
04实测效果:精度与速度的双重提升
评估维度性能指标提升效果
推理速度加速倍数最高实现 2.9× 加速(基于 Qwen2-VL、Llama-3.2-Vision 等模型)
任务准确率DocVQA 等精细视觉任务较主流方法提升 30%–45% 以上

V-Skip 在主流模型与数据集上的性能收益

综上所述,V-Skip 通过创新的视觉锚定机制与高效的蒸馏方案,成功克服了多模态推理压缩中的视觉失忆难题。其在 Qwen2-VL 和 Llama-3.2-Vision 等模型上展现出的优异性能,证明了该方法在工程应用与学术研究中的重要价值。

评论

评论区空态插画

当前文章无评论,是时候发表评论了