什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

多模态大模型动态视觉感知——Q-Zoom

现有的多模态大模型(MLLM)为了看清文档密集文字或图像角落的微小物体,普遍采用动态分辨率策略(如 AnyRes)。这种“暴力高清”的做法虽然能提升效果,但通过切分大量视觉 Token 塞给 LLM 的方式,在推理时存在显著的冗余和效率瓶颈。针对这一痛点,Q-Zoom 提出了一套完全 Query-感知(Query-aware)的自适应感知框架,旨在平衡视觉感知的精度与效率。
01Q-Zoom 核心架构设计
Q-Zoom 的核心逻辑在于:视觉感知的高分辨率选择可以在单次 Prefill(预填充)阶段,由模型内部特征动态决定。该框架主要由三部分协同工作,实现了从粗粒度感知到细粒度聚焦的无缝切换。
  • 轻量级门控网络
    在 LLM 中间层接入门控机制。面对简单问题,门控判断“粗粒度”特征已足够,直接输出答案并绕过高分辨率处理,从而节省 Token 并加速推理。
  • SD-RPN 预测器
    当需要细粒度感知时,利用 LLM 中间层的跨模态注意力(Cross-attention),预测高分辨率目标区域(RoI)的精准热力图,并在原图上裁剪对应区域重新编码。
  • 连续时空位置编码
    为解决局部裁剪导致的全局空间位置“断片”问题,通过插值将原图绝对坐标(MRoPE)注入高分辨率 RoI Token,确保模型融合局部细节与全局视野。
02技术路径与训练效能

主流动态分辨率方案对比

Training-free 方法

依赖手工设计的对比规则

  • 需要多次冗余的 Prefill 过程
  • 虽然无需训练,但推理效率受限于多次扫描
RL-based 方法

基于强化学习(如 Thyme)

  • 使用 LLM 自回归生成代码或坐标寻找 RoI
  • 文本解码链路过长,存在明显的效率短板
Q-Zoom 框架

单次 Prefill 阶段直接操作中间特征

  • 无需人工画框标注,无需显存密集的 RL 训练
  • 完全依赖自监督蒸馏,4 张 A6000 显卡 8 小时内完成训练
03实测性能表现
在广泛的 Document & OCR 以及高分辨率视觉基准测试中,Q-Zoom 展现出了优异的性能。实验数据表明,在保持精度的同时显著降低了计算成本,并在同等资源限制下提升了模型效果。
测试维度性能表现对比结果
推理 Token 使用量仅需 Baseline 的 20%~40%达到与 Baseline 相同的精度
极端场景推理速度最高提速 4.39 倍显著降低延迟
文档类 Benchmark性能提升 1.1%视觉 Token 数量接近时
高分辨率 Benchmark性能提升 8.1%视觉 Token 数量接近时
结合 RL 模型 (ZwZ)绝对精度提升 5%~6%规避 RL 模型解码过长的效率短板

Q-Zoom 在 Qwen2.5-VL 7B 上的关键性能指标

Q-Zoom 作为一个基础模型的增强插件,不仅适用于 LLaVA-1.5、Qwen2.5-VL 等模型,还能与最新的 Qwen3-VL 以及基于 RL 的“thinking-with-image”模型完美正交结合。其在相同精度下的数倍提速,以及在相同吞吐量下的精度提升,为多模态大模型的高效动态视觉感知提供了新的解决路径。

评论

评论区空态插画

当前文章无评论,是时候发表评论了