多模态大语言模型虽功能强大，却因高分辨率图像和长视频产生的海量视觉令牌而面临计算瓶颈。一篇系统综述首次梳理了令牌压缩技术，构建了清晰的方法论框架与决策路线图，揭示了通过压缩冗余令牌可实现高达8倍效率提升而性能几乎无损的核心洞见，为构建下一代高效MLLM指明了方向。
智能速览
多模态大模型因海量视觉令牌面临二次方计算复杂度瓶颈。
令牌压缩技术可在保持性能的同时，实现高达8倍的理论效率提升。
压缩策略可按架构位置分为视觉编码器、投影器和LLM三大类。
文本引导压缩更精准，纯视觉压缩更通用，二者可结合使用。
激进压缩在OCR等细粒度任务上会导致性能显著下降。
该综述为选择合适的压缩策略提供了清晰的决策路线图。
精华内容
视觉令牌压缩，不仅是解决MLLM效率瓶颈的钥匙，更是开启高分辨率图像与长视频理解新纪元的关键技术。
核心矛盾与解法
多模态大语言模型（MLLM）的核心困境在于其自注意力机制带来的二次方复杂度，处理一张高分辨率图像可能产生上千个视觉令牌，导致计算成本和内存消耗急剧膨胀。
令牌压缩技术应运而生，其核心思想是在保持关键语义信息的前提下，将令牌总数从N减少到N’。根据计算公式，将令牌数量压缩4倍，理论上可带来近16倍的FLOPs（浮点运算次数）节省，这为解决效率问题提供了根本性思路。
三大压缩枢纽
压缩可在MLLM的三个关键位置进行，如同一个高效的物流系统。视觉编码器是压缩效率收益最大的地方，方法如ToMe通过合并相似视觉块，或VisPruner根据重要性丢弃冗余块。
投影器作为连接视觉与语言的桥梁，可采用Q-Former这类基于查询的机制，或使用MobileVLM V2的轻量下采样模块。而在LLM主干部分，FastV等方法通过剪除低注意力分数的视觉令牌，直接降低主干网络的计算负担。
压缩策略的选择
选择压缩策略并非一刀切，需在纯视觉压缩与文本引导压缩之间权衡。纯视觉压缩仅基于图像内容，像一个通用打包器，适合多轮对话等需要一次性压缩后多次使用的场景。
文本引导压缩则依据用户查询来聚焦相关区域，像一个个性化拣货员，在单轮问答任务中能更好地保持精度。一个实用的设计往往是先进行纯视觉压缩，再根据文本查询进行精细化选择，兼顾效率与精度。
效率与精度的边界
令牌压缩并非在所有任务上都“无损”。实验表明，在通用视觉问答（VQA）任务上，即使将令牌压缩到原始的1/8，性能仍能保持可比。
然而，在OCR、文档理解等需要细粒度感知的任务上，激进压缩会导致精度显著下降。研究发现，处理自然场景图像可能仅需9个令牌，而处理文档则需要144至576个令牌，这揭示了不同任务对信息密度的需求差异。
令牌压缩技术正从局部修补走向系统级设计，成为释放MLLM潜力的关键。它不仅让现有模型跑得更快，也为高分辨率图像与超长视频分析等新应用铺平了道路。未来，模型能否像人一样根据任务难度动态决定需要看清多少细节，将是实现效率与精度完美权衡的下一个重要课题。
