TiFRe:文本引导帧裁剪,高效多模态视频理解
随着多模态视频理解任务需求的增长,视频大模型在处理长视频时面临输入帧数过多导致的计算成本高昂问题。为此,北京大学提出了TiFRe(Text-guided Frame Reduction)框架。该框架作为一种无监督的前端数据处理方案,通过文本引导的帧采样和帧匹配合并机制,在保留核心视觉语义的同时,大幅降低了推理阶段的显存占用和计算延迟。
01核心机制:文本引导的动态帧筛选与融合
- 文本引导的帧采样策略(TFS)
区别于传统的固定频率采样,TFS利用LLM解析用户问题中的核心实体,生成CLIP风格的提示词。通过计算视频各帧与该提示词的语义相似度,动态筛选出与问题最相关的关键帧,确保在极低帧数下依然保留核心视觉语义。 - 帧匹配与合并机制(FMM)
为弥补丢弃非关键帧带来的信息损失,FMM将未被选中的帧与语义最接近的关键帧进行匹配,并通过加权平均的方式将非关键帧的特征融合进关键帧中。这一过程利用CLIP的跨模态空间确保了视频上下文信息的完整表达。
02性能表现:计算效率与准确率的双重提升
| 测试指标 | 原始模型 (Video-XL) | 应用TiFRe框架后 |
|---|---|---|
| 输入帧数 | 55.2 帧 | 8.6 帧 |
| 帧数缩减率 | - | 84.4% |
| 准确率 | 基准水平 | +2.1% |
TiFRe在VNBench上的实验数据对比
TiFRe实现了大幅度的Token缩减,在多个主流视频理解基准测试中表现卓越。在保证模型性能不降反升的前提下,该框架将处理视频所需的视觉Token数量降低了一个数量级,显著降低了推理阶段的显存占用和计算延迟。
03生态兼容:即插即用的无监督扩展性
TiFRe无需对现有的Video MLLMs进行重新训练或微调,作为一种底层的前端数据处理框架,可以无缝集成到如Video-LLaVA、Video-XL等各种预训练多模态模型中。这种设计使其具有极强的通用性和周边生态适配性,能够快速适配现有的视频语言模型架构。
当前文章无评论,是时候发表评论了