什么值得买App下载 App ›
连续签到专享现金活动

CLIP:连接视觉与语言的零样本学习模型

传统计算机视觉模型在识别图像时存在显著局限性,通常依赖人工定义的固定类别标签,如ImageNet的1000类或CIFAR-10的10类。这种模式导致模型泛化能力较差,一旦遇到训练数据之外的类别(如训练集中未包含的“水豚”),便无法识别,若要扩充识别范围则需重新收集数据、标注并训练模型,成本高昂且效率低下。为了解决这些痛点,OpenAI提出的CLIP(Contrastive Language-Image Pre-training)模型通过引入自然语言监督,改变了计算机视觉的学习范式,使其具备了强大的零样本识别能力。
01核心原理:从生成任务转为配对任务
CLIP的设计思路受到BERT和GPT等自然语言处理模型的启发,旨在利用互联网上海量的图文对数据进行学习。传统模型学习图片时往往只有简单的标签(如“草地”),信息量稀薄;而CLIP利用的是带有丰富语义描述的文字(如“湿漉漉的银杏叶撒满草坪,宣告秋天的结束”),这不仅包含物体名称,还涵盖了状态、场景和氛围等深层次语义。
在具体实现上,CLIP并未采用难度极高的“看图写作文”生成式任务,而是将其转化为“图文配对”的选择题。模型包含两个核心编码器:图像编码器将图片转化为向量,文本编码器将文字转化为向量。通过将这两种向量映射到同一个高维特征空间,CLIP通过对比学习进行训练,目标是让真正匹配的图文对向量尽可能靠近,而让不匹配的图文对向量尽可能远离。
02训练机制与零样本分类能力
在训练过程中,CLIP使用了4亿个互联网图文对,并将Batch Size(批处理大小)设定为32768。在海量数据的训练下,模型不断优化图文对齐效果,最终学到的并非针对特定类别的分类器,而是图像与语言之间的通用对应关系。这一机制赋予了CLIP关键的“零样本分类”能力。

模型分类逻辑对比

基于固定标签的分类
  • 需要训练特定类别的分类头(如ImageNet 1000类)

  • 识别新类别需重新收集数据和训练

  • 泛化能力弱,受限于训练数据分布

基于Prompt的零样本分类
  • 无需重新训练,构建文本提示词(Prompt)即可

  • 将类别转化为文本向量,计算与图像向量的相似度

  • 通过自然语言描述适应不同识别任务

在实际应用中,例如要对ImageNet的1000类进行识别,只需提前编写好1000个文本句子(如“这是一张飞机的照片”、“这是一张狗的照片”),将其输入文本编码器得到向量。当新图片输入时,CLIP计算其图像向量与这1000个文本向量的相似度,取相似度最高者作为预测结果。此外,Prompt的写法对效果有显著影响,精细的提示词设计(如加入特定领域知识)可以进一步提升准确率。
03应用场景与泛化优势
得益于从图文关系中学习到的抽象语义,CLIP在泛化能力上表现优异。传统模型可能因为记住的是训练数据中的纹理或背景捷径,在遇到卡通、素描等不同风格的同一物体时性能大幅下降;而CLIP掌握了物体的核心形状和颜色概念,即使画风改变也能准确识别。
  • 多模态检索:利用文字直接搜索图片或视频内容。
  • 视频内容分析:抽取视频关键帧转化为向量,结合文本描述定位特定画面(如在监控中查找特定衣着特征的人物)。
  • 跨模态理解:作为基础支撑技术应用于各类图像搜索和理解系统。
总结而言,CLIP通过引入自然语言监督和对比学习,解决了传统视觉模型依赖人工标注和泛化能力差的核心问题。它不仅让视觉模型具备了零样本识别的能力,更打通了图像与文字的语义壁垒,为多模态应用的发展奠定了重要基础。

评论

评论区空态插画

当前文章无评论,是时候发表评论了