计算机视觉大模型概述(二)——VLM
视觉大模型的发展已进入将视觉与大型语言模型结合的VLM阶段。这一进程的核心始于CLIP模型,它通过对比学习打通了图像与文本的语义壁垒,后续的SigLIP进一步解决了训练效率问题,而VILA则深入探索了VLM的训练策略。这些技术迭代推动了大模型在多模态理解与生成方面的突破。
01CLIP:对比学习与多模态预训练
CLIP(Contrastive Language-Image Pre-training)的核心在于利用互联网海量的图文对数据进行弱监督学习。它不依赖固定的类别标签,而是直接从图片的描述文本中学习视觉概念。OpenAI构建了包含4亿个图片-文本对的WIT-400M数据集,通过对比学习训练Text Encoder和Image Encoder。
在训练机制上,CLIP将Batch内的N个图片-文本对两两组合,形成N×N的相似度矩阵。对应的图像和文本特征为正样本,其余为负样本。通过计算Softmax-based InfoNCE损失,最大化正样本的余弦相似度,最小化负样本的余弦相似度。在计算前进行L2归一化,可以消除图像亮度、文本长度等模长干扰,使相似度完全由语义方向决定。
经过训练的双编码器架构具备了Zero-shot分类能力。推理时,将类别名称构建为Prompt(如“this is a photo of {object}”),通过Text Encoder编码后与图像特征计算相似度,相似度最高的即为预测类别。这种基于语义匹配的分类器对不同风格和光照具有更强的鲁棒性,且支持开放词汇目标检测。
02SigLIP:效率优化与二分类重构
对比学习机制对比
Softmax全局归一化
基于Softmax计算相似度矩阵
需要汇聚多节点多卡特征向量
受限于Batch Size,显存消耗大
依赖频繁的all_gather通信,拖慢训练速度


Sigmoid二分类预测
使用Sigmoid进行点对点二分类
支持任意Block拆分,无需全局矩阵
支持十万级Batch Size,训练效率高
引入偏置项,自动学习正负样本分类阈值
Google提出的SigLIP通过引入二分类思想重构了对比学习。它不再使用Softmax对Batch内所有样本进行全局归一化,而是使用Sigmoid函数逐个预测正负样本关系。这种改变消除了对全局矩阵的依赖,使得计算可以拆分到不同显卡并行处理。SigLIP不需要复杂的多卡通信,最大可支持100万的Batch Size。实验表明,在较小的Batch(如32k)下,SigLIP表现已优于同规模的CLIP。
在此基础上,SigLIP v2引入了自监督损失、动态分辨率以及更大规模的语料库,成为了VLM的核心视觉组件。例如,Google的PeliGemma系列VLM便采用了SigLIP作为Vision Encoder。
03VLM训练:VILA的关键发现
VILA(Visual-Linguistic Assistant)的研究重点在于VLM预训练阶段的设计选择。其核心发现围绕如何平衡视觉能力的提升与LLM原有文本能力的保留。实验表明,更新LLM参数对于继承上下文学习等属性至关重要,尽管冻结LLM可以防止退化,但更新参数能带来更优的性能。
VLM预训练数据策略对比
图像-文本对数据
如LAION、COYO数据集,每张图片对应简短描述。
- 标准的图文对应格式
- 文本长度短,语义信息有限
- 易导致LLM文本能力严重退化
交错数据
如MMC4数据集,模拟网页的图文交织结构。
- 格式为<文本><图片><文本>,接近LLM预训练语料
- 平均每张图对应122.5个Tokens
- 有助于保留LLM的原始文本能力
实验结果显示,使用交织数据(MMC4)预训练能更好地保持模型的文本能力。此外,VILA发现通过联合SFT(Supervised Fine-tuning)可以有效恢复LLM的文本能力。在SFT阶段混合小规模的纯文本数据,不仅能弥补预训练阶段损失的文本能力(如MMLU分数),反而因COYO丰富的视觉多样性提升了模型的视觉能力。
- 必须更新LLM:冻结参数虽然防止退化,但无法继承上下文学习等关键属性。
- 数据交织优势:使用MMC4等交织数据集有助于在提升多模态能力的同时保留文本能力。
- 联合SFT修复:在SFT阶段混合纯文本数据,可恢复并提升模型的综合性能。
当前文章无评论,是时候发表评论了