高分辨率图像和长视频给多模态大模型带来了惊人的视觉Token数量，直接导致计算成本激增，严重制约了模型的扩展与落地。针对这一核心痛点，一篇全面的综述应运而生，它不仅系统梳理了Token压缩技术的庞杂体系，还针对不同部署场景提供了清晰的选择指南，为开发者和研究者铺就了一条通往高效多模态应用的道路。
智能速览
视觉Token冗余是制约多模态大模型发展的关键瓶颈。
Token压缩技术可按Vision Encoder、Projector、LLM三个位置系统归类。
视频输入需采用时空增强压缩策略，以处理帧间冗余。
即插即用方法部署快，但重训练方法在性能上更具优势。
高级压缩方法未被主流模型广泛采用，主要受限于兼容性、成本和泛化性。
未来技术发展的关键在于理论构建与任务自适应性。
精华内容
面对纷繁复杂的Token压缩方法，究竟该如何理解其核心思想，并为自己的项目找到最优解？下文将深入技术分类，并剖析不同场景下的选择逻辑。
技术瓶颈与爆发
多模态大模型在视觉感知等任务上表现出色，但其性能背后是高昂的计算成本。一张高分辨率图像或一段长视频，往往能生成数以万计的视觉Token，极大地占用了显存并增加了推理延迟，这成为模型本地化和规模化应用的主要障碍。
正是这种迫切的需求，点燃了MLLM Token Compression的研究热情，短短两年内，该垂直领域涌现出约200篇论文，技术方案百花齐放，但也带来了选择上的困惑。
三大压缩阵地
为了系统地理解这些方法，研究人员根据压缩发生的位置，将其归为三大类。
第一类是在Vision Encoder（视觉编码器）中压缩。作为处理视觉信息的第一站，在此阶段减少Token能从源头降低整个系统的计算负担。方案分为编码器内部压缩和外部压缩，前者侧重多尺度协调，后者则更具即插即用特性。
第二类是在Projector（投影器）中压缩。此模块负责将视觉特征转换为语言模型能理解的形式，通过变换、查询或重要性驱动等方式实现更精细、自适应的压缩。
第三类是在LLM（大语言模型）中压缩。鉴于LLM通常是参数瓶颈，在此阶段压缩收益直接。早期策略聚焦于预填充阶段，而今随着长文本问答需求增长，在解码阶段剪枝或合并KV Cache成为新焦点。
视频场景的特殊性
针对视频输入，单纯应用为图像设计的空间压缩策略效果有限，因为它们无法有效利用帧与帧之间的时间冗余。为此，时空增强的Token压缩方法应运而生，这类方法明确建模时间结构，旨在实现对长视频序列的高效处理。
设计此类策略时，需要重点考虑如何保留关键的动作和时序逻辑，同时应对超长序列带来的计算挑战，确保视频理解任务的准确性与效率。
融合与取舍的智慧
在选择具体方法时，开发者需要进行多维度权衡。纯视觉压缩不依赖文本，通用性强；文本引导压缩则能聚焦于与指令相关的Token，二者可以结合使用，先做通用压缩，再做精细筛选。
Token Merging（合并）通过平滑聚合保留信息，适合处理密集或时间上连续的视觉内容。而Token Dropping（丢弃）则直接剪除，当高层语义足够稀疏时效率更高。未来的理想方案或许是自适应地在两者间动态切换。
即插即用方法部署迅速，训练成本低，但性能上限有限，尤其是在高分辨率任务中。重训练方法虽然需要额外计算资源，但能实现更高的性能上限，适用于对精度要求严苛的场景。
未被广泛采用之谜
一个有趣的现象是，尽管存在许多先进的Token压缩策略，但主流的大型多模态模型仍倾向于使用如Pooling这样简单的方法。究其原因，主要有三点：一是部分先进方案与Flash Attention等底层优化库存在兼容性问题；二是在海量数据和通用模型上进行策略验证的成本极高，导致模型训练趋于保守；三是特定的压缩策略可能引入归纳偏置，导致模型在其他任务上的泛化能力下降，这对于追求通用性的大模型是不可接受的。
这篇综述不仅是对过去两年多模态Token压缩技术的全面盘点，更是一份面向未来的实践指南。它厘清了庞杂的技术路线，并为开发者在不同场景下做出明智选择提供了清晰的理论依据。尽管仍面临理论支持不足、自适应性欠缺等挑战，但随着研究的深入，我们有望看到更高效、更智能的压缩技术，推动多模态大模型走向更广阔的应用天地。下一个突破点会在哪里？
