随着图像分辨率与视频时长的增加，多模态大模型中的视觉Token数量呈指数级增长，严重影响模型效率。一份全新的Token压缩综述，从“压缩位置”和“算法选择”两大独特视角出发，为研发者提供了系统性的梳理和实际部署的清晰路径，有效应对这一挑战。
智能速览
视觉Token数量随数据量呈指数级增长，是提升效率的关键瓶颈。
综述首次从“压缩位置”视角系统梳理了算法在模型各部分的设计。
从应用者角度出发，提供了选择合适算法的实用路线图。
深入探讨了长视频、文本指导、即插即用等多种场景下的技术权衡。
相关工作已整理至GitHub，为相关领域研究者提供参考索引。
精华内容
面对百花齐放的Token压缩算法，如何根据具体场景做出最优选择？这份综述从实际应用出发，剖析了关键技术路线与核心权衡。
压缩位置定位
该综述的独特之处在于引入了“压缩位置”的分析框架，系统地将Token压缩算法归类到多模态大模型的不同组件中。具体包括，在视觉编码器阶段进行早期压缩，在投影器层面对齐压缩，或是在语言模型主干中进行后期处理，此外还包括混合架构设计。这种视角有助于理解不同算法的介入时机和其影响范围，为模型设计者提供了清晰的拓扑图。
策略选择权衡
在算法选择上，存在几个核心的权衡。首先是Token合并与Token丢弃的抉择：前者旨在保留更多原始信息，后者则追求极致的效率。其次，是采用纯视觉压缩还是引入文本指导的压缩方案。纯视觉方法独立高效，而文本指导方法能够借助语义信息，更精准地保留关键Token，但依赖额外的文本输入，增加了系统复杂性。
部署考量因素
实际部署时，即插即用模块与需要重训练的模块之间存在巨大差异。前者无需改动原模型，易于快速集成，但性能可能受限；后者需要重新训练，成本高昂，但往往能实现更优的压缩效果。同时，还需区分是为训练过程加速，还是为推理过程提速，两者的技术目标和实现路径各有侧重，直接影响最终的应用成本和响应速度。
长视频处理
针对小时级别的超长视频理解，Token压缩技术变得至关重要。传统的处理方式会导致Token数量爆炸，远超模型上下文窗口限制。专门的压缩策略能够有效提炼视频帧的核心视觉信息，将海量的Token流压缩至模型可处理的范围内，从而实现对超长视频内容的理解与分析，这是迈向更高级视频AI应用的关键一步。
这份综述不仅是对现有Token压缩技术的全面盘点，更是一份面向实际应用的开发指南。它为高效多模态大模型和长上下文建模的未来发展提供了清晰的思路和索引。随着技术演进，如何实现更智能、更低损的Token压缩，仍将是值得持续探索的方向。
