什么值得买App下载 App ›
连续签到专享现金活动

CVPR 2026|1.1B参数精准看清局部信息

当前视觉语言模型在全局任务如分类、检索上表现优异,但在密集图文对齐任务(如零样本语义分割)中往往存在局部信息理解偏差。这主要源于预训练阶段模型倾向于处理“整图整段话”,缺乏对图像局部patch与具体概念的精细对齐训练。针对这一痛点,TIPSv2提出了一种新的预训练方案,通过改进监督机制和优化资源配置,显著提升了模型对局部细节的感知能力。
01核心思路:反直觉的参数发现
研究团队在实验中发现了一个违反“模型越大越强”常规认知的现象:在零样本图像分割任务上,从11亿参数大模型蒸馏出的ViT-L规格小模型,其得分(20.8)远超大模型(2.6),性能提升超8倍。这一现象表明,蒸馏过程移除遮盖机制后形成的“全区域监督”至关重要。受此启发,TIPSv2对预训练方案进行了彻底改造,旨在让模型关注图像的每一个细节。
02三大创新技术详解
  1. iBOT++:从“猜谜”升级为“全文精读”
    传统预训练仅对被遮盖区域计算损失,导致可见区域缺乏监督,局部语义易漂移。iBOT++要求模型对所有未被遮盖的区域同时进行精确监督,这一改动使零样本分割性能提升了14.1个百分点。
  2. Head-only EMA:训练参数量缩减42%
    传统自监督训练需在显存中维护两份大模型,开销巨大。TIPSv2发现图文对比损失已能稳定主干网络,因此EMA(指数移动平均)仅作用于最后的投影头,不再复制主干网络。这使得训练参数量缩减约42%,大幅降低显存压力且性能几乎无损。
  3. 多粒度文本搭配:难易交替防模型“偷懒”
    为了防止模型因任务简单而只关注全局信息,方案将三类文本按不同粒度混合输入:网页简短描述、中等详细描述以及Gemini生成的长描述。这种难易交替的输入策略确保了模型既不忽略整体,也能保留细节。
03性能评估与资源
TIPSv2在9大任务、20个权威数据集上完成了冻结评估。结果显示,其零样本语义分割刷新了业界最优(SOTA)记录,图文检索与分类任务击败了参数量大56%的对比模型,纯视觉任务也全面跻身前列。与DINOv3相比,TIPSv2生成的特征图更平滑,对象边界更清晰,展现出更强的语义焦点。
评估维度TIPSv2表现对比优势
零样本语义分割刷新业界最优(SOTA)特征图更平滑,边界更清晰
图文检索与分类击败参数量大56%的模型性能大幅提升
训练效率参数量缩减42%显存压力骤降

TIPSv2核心性能对比

评论

评论区空态插画

当前文章无评论,是时候发表评论了