CVPR26 | 自动决定所需的最少视觉token数
视觉大语言模型(VLM)在处理视觉问答等任务时,通常需要处理海量的视觉Token,这导致了极高的计算开销。现有的高效VLM方案大多采用固定比例的压缩策略,这种静态模式难以适应多变的任务需求,容易在简单任务上产生过度计算。针对这一痛点,AdaptVision范式提出了一种自适应的视觉Token获取机制,旨在让模型能够像人类一样,自主决定每次推理所需的最少视觉Token数量,从而在保持准确率的同时显著降低计算成本。
01技术背景:静态压缩与动态需求的矛盾
当前高效VLM的研究主要集中在视觉Token的压缩上,主要分为两类:一是基于重要性或相似度的固定数量剪枝或合并;二是针对不同任务(如OCR)使用固定比例的Token切换。然而,这些方法本质上是被动且静态的,缺乏根据图像难度和具体问题动态调整算力分配的能力。AdaptVision的核心出发点在于打破这种固定机制,探索模型能否实现“按需分配”的主动视觉感知。
02核心方法:动态获取与解耦回合策略优化
AdaptVision受人类“由粗到细”的主动视觉观察机制启发,构建了一套自适应的推理范式。该框架包含动态视觉获取机制和特定的强化学习算法,旨在平衡感知的精细度与计算效率。
- 动态视觉获取机制
模型首先处理低分辨率图像的压缩视觉Token,建立对场景的初步理解。当检测到初步信息不足以回答问题时,模型会主动调用边界框工具,裁剪原图中的关键区域以获取高分辨率的补充信息。这种按需调用的方式避免了全图高分辨率处理带来的冗余计算。 - 解耦回合策略优化(DTPO)
为了训练上述动态决策过程,作者提出了DTPO算法。该框架将学习目标严格解耦为两部分:一是“工具学习”,专注于优化模型调用工具(如裁剪区域)的合理性;二是“准确率提升”,专注于细化最终答案的正确性。 - 双重优势估计
基于目标的解耦,算法分别为与工具使用和答案准确率相关的Token计算独立的 advantage 值。这一设计有效解决了传统强化学习在多目标平衡上的难题,相比原生 GRPO 算法能更有效地指导模型学习。
03实验效果:性能与效率的双重提升
在多种视觉问答基准测试中,AdaptVision展现了其在效率和性能上的双重优势。实验表明,该模型不仅显著降低了视觉Token的消耗,还实现了优于现有高效VLM方法的准确率。
| 评估维度 | 现有高效VLM方法 | AdaptVision |
|---|---|---|
| 视觉Token消耗 | 较高(固定压缩比) | 显著降低(动态自适应) |
| 任务适应性 | 被动,无法适配难度 | 主动,根据难度调节算力 |
| 学习算法 | 传统多目标RL(如GRPO) | DTPO(解耦优势估计) |
| 综合表现 | 效率与精度难兼顾 | 性能效率双赢 |
AdaptVision与传统方法的核心差异对比
消融实验进一步证实,DTPO算法在平衡工具调用正确率与最终答案精度方面,显著优于原生 Vanilla GRPO 算法。模型成功掌握了动态增减视觉信息的策略,能够对不同难度的样本进行自适应的算力分配。
04行业意义:迈向高效自适应的多模态推理
AdaptVision通过独立奖励驱动机制,为多模态模型如何在“细粒度视觉感知”与“端到端计算效率”之间达成动态最优解提供了新的思路。它证明了VLM具备自主决策最少视觉需求的能力,这为未来构建更加智能、低成本的视觉推理系统奠定了技术基础。
当前文章无评论,是时候发表评论了