多模态大模型在处理视觉数据时面临高昂的计算成本，Token 压缩技术成为关键解法。面对两年内涌现的约 200 篇论文，一篇来自顶尖学府的综述文章，系统梳理了该技术，并针对不同场景提供了清晰的选型指南，极具参考价值。
智能速览
视觉Token是限制多模态模型性能与部署的关键瓶颈。
Token压缩技术可在视觉编码器、投影器和大语言模型三个位置部署。
视频理解需要专门的时空联合压缩策略以处理帧间冗余。
即插即用方法部署快，重训练方法性能上限高，二者各有取舍。
当前主流模型在训练中仍偏好简单压缩，因其兼容性和泛化性更好。
精华内容
面对庞杂的研究方法，如何系统地理解并做出正确选择？下文将深入拆解其核心分类与选型逻辑。
压缩位置分类
研究首先根据压缩位置对方法进行归类。在视觉编码器中压缩，能从源头降低计算开销，分为内部和外部压缩，外部压缩即插即用性强。在投影器中压缩，作为视觉与语言的桥梁，方法包括基于变换、查询和重要性驱动的策略。在大语言模型中压缩，则直接优化整体效率，早期侧重预填充，现在随着长文本问答需求增长，重心转向解码阶段的KV Cache剪枝。
场景选型策略
针对不同应用场景，压缩策略的选择至关重要。处理视频时，需采用时空增强压缩，利用帧间冗余。纯视觉压缩与文本引导压缩是互补的，可组合使用以实现高效和精准。Token Merging适合密集或时序冗余的场景，而Token Dropping在语义稀疏时效率更高。此外，即插即用方案部署快，但重训练方案在细粒度理解任务上性能上限更高。
训练与推理
一个值得深思的现象是，尽管压缩策略多样，但主流多模态大模型在训练中仍使用池化等简单方法。主要原因有三点：一是许多复杂方法与Flash Attention等核心技术不兼容；二是训练和验证新策略的成本高昂，导致策略选择保守；三是特定任务的优化可能引入归纳偏置，损害模型的通用泛化能力，这在追求通用性的模型中是不可接受的。
这份综述清晰地梳理了多模态大模型Token压缩的技术脉络，为研究者和工程师提供了宝贵的全景地图和选型依据。尽管挑战尚存，如理论支撑和自适应性的缺失，但该领域的快速发展正为更高效、更强大的多模态应用铺平道路。
