什么值得买App下载 App ›
连续签到专享现金活动

探索基于LLM的视觉编码器

当前视觉语言模型(VLM)的性能提升高度依赖模型规模扩张,这一趋势极大限制了其在边缘端、移动设备等资源受限场景的工程化部署。针对2B-8B参数量级紧凑型VLM的性能边界,腾讯AI Lab提出了Penguin-VL架构。该研究挑战了行业主流预训练范式,指出单纯依靠模型规模扩张并非提升性能的唯一途径,高质量的视觉表征才是核心驱动力。
01主流范式局限:对比学习的目标错配
现有的SOTA VLM普遍采用基于对比学习(如CLIP/SigLIP)的视觉编码器初始化方案。然而,实验验证该范式存在本质性的优化目标错配。对比预训练以视觉特征区分性为优化目标,强制学习类别级、粗粒度的特征不变性。这种机制会抑制密集图像描述、多模态逻辑推理及细粒度视觉理解所需的精细空间-时序视觉特征,从而制约了下游复杂任务的性能表现。
02解决方案:Penguin-VL架构创新

视觉编码器初始化方案对比

传统对比预训练编码器

依赖CLIP/SigLIP等大规模对比预训练

  • 优化目标:视觉特征区分性
  • 特征特征:类别级、粗粒度不变性
  • 局限性:抑制细粒度视觉特征,制约复杂推理
Penguin-Encoder

采用仅文本大语言模型(LLM)初始化

  • 优化目标:与语言模型对齐的视觉表征
  • 特征特征:保留精细空间与时序线索
  • 优势:缓解预训练与下游任务的目标错配
03实证表现:轻量架构实现SOTA性能
任务类型对比预训练编码器表现Penguin-VL表现
视觉表征保真度常规水平全面优于对比预训练编码器
数据利用效率常规水平显著提升
数学推理任务依赖大参数量模型与Qwen3-VL等主流大参数量VLM持平
文档结构化理解受限于细粒度特征性能超越主流模型
视觉知识问答常规表现性能超越主流模型
多视角视频时序理解时序特征处理弱性能超越主流模型

Penguin-VL在不同任务类型下的性能对比

消融实验证实,Penguin-Encoder能够完整保留细粒度空间与时序视觉线索,这对于密集感知与复杂推理至关重要。该研究得出的核心结论是:VLM性能提升的核心驱动力为高质量视觉表征,而非单纯的模型规模扩张。Penguin-VL在轻量化约束下实现了SOTA级性能,为资源受限场景下的高性能多模态模型部署提供了高效、可落地的技术方案。

评论

评论区空态插画

当前文章无评论,是时候发表评论了