什么值得买App下载 App ›
连续签到专享现金活动

大模型面试题详解 | Embedding原理、RAG检索优化与多模态策略

Embedding技术是将文本单位映射到连续低维实数向量空间的核心方法,使得语义相近的文本在空间中距离更近。该技术历经了从静态词向量(如Word2Vec、GloVe)到基于Transformer的上下文句向量(如BERT、SBERT)的演进。完整的向量化流水线涵盖预处理、Tokenization、上下文化、Pooling层聚合以及规范化后处理等关键步骤,最终生成可用于相似度计算与语义检索的向量表达。
01文本向量化核心流程
  1. 预处理与Tokenization
    对原始文本进行清洗,并采用分词或子词算法将文本切分为模型可处理的Token序列。
  2. 上下文化
    利用Transformer等模型捕捉Token的上下文信息,生成包含语义的Token级向量。
  3. Pooling聚合
    通过取[CLS]标记、Mean Pooling(平均池化)、Max Pooling(最大池化)或Attention加权池化,将Token向量聚合为句向量。
  4. 规范化后处理
    执行L2归一化以适配余弦相似度计算,或使用PCA、白化等手段缓解向量空间的各向异性问题。
在模型训练层面,不同阶段的Embedding技术采用了差异化的目标函数。静态词向量主要依赖Skip-gram与CBOW架构配合负采样,或利用GloVe基于全局共现统计进行训练;上下文预训练模型则采用Masked LM(如BERT)或Causal LM(如GPT);而专门面向句向量的模型(如SBERT、SimCSE)则主要通过对比损失进行优化,以增强向量空间的语义辨识度。
02RAG检索优化:混合检索与重排
为兼顾精确的关键词匹配与语义相似性,RAG系统普遍采用“混合检索+重排”的流水线架构。该策略首先利用BM25与Dense向量检索并行召回候选文档,取并集后,再通过Cross-Encoder(交叉编码器)进行精排,从而大幅提升检索准确性与可解释性。
BM25作为经典的词袋模型,其评分机制基于词频与逆文档频率。对于查询Q和文档D,BM25的得分计算公式综合考量了词项的饱和度与文档长度的归一化,其核心公式为:
检索阶段BM25 (稀疏检索)Dense Retrieval (稠密检索)Cross-Encoder (重排)
核心原理基于词频统计的精确匹配 (Bag-of-Words)基于语义向量的相似度匹配深度交叉注意力机制,强交互计算
主要优势擅长匹配专有名词、关键词,解释性强捕捉语义关联,解决词汇鸿沟问题排序精度最高,能细微分辨相关性差异
计算成本低效,检索速度快中等,依赖向量数据库索引高昂,计算量大,适合小规模精排
典型应用初筛候选文档初筛候选文档对召回候选集进行最终精排

RAG检索系统中不同检索组件的对比

在重排阶段,Cross-Encoder将查询与候选文档拼接输入模型(如BAAI/bge-reranker-large),直接输出相关性分数。这种全交互模式虽然计算成本较高,但能显著优于双塔模型(Bi-Encoder)的排序效果,常用于对混合检索召回的前几十个文档进行精细化处理。
03多模态Embedding与检索策略
面对包含图像的输入数据,RAG系统需要采用多模态检索策略以融合视觉与文本信息。主流方案包括统一嵌入空间检索、多模态检索以及图像摘要与文本检索,分别适用于不同的业务场景与数据特性。

多模态检索策略分类

统一嵌入空间检索

将文本和图像映射到同一向量空间,实现跨模态直接比对。

  • 核心机制:使用CLIP等模型将不同模态数据对齐到共享特征空间。
  • 检索方式:查询向量(文本或图像)直接在统一空间中检索最相关的任一模态内容。
  • 适用场景:需要同时处理文本和图像,且对跨模态语义对齐要求较高的场景。
图像摘要与文本检索

将图像转化为文本描述,复用成熟的文本检索技术。

  • 核心机制:利用GPT-4V或LLaVA等多模态模型生成图像摘要。
  • 检索方式:将图像摘要与原始文本共同嵌入向量库,查询时仅进行文本-文本检索。
  • 适用场景:图像内容可被文本精准描述,且希望降低系统复杂度、利用现有文本检索基建的场景。
多模态检索

分别处理不同模态路径,根据查询类型动态选择。

  • 核心机制:为文本和图像建立独立的索引或嵌入路径。
  • 检索方式:根据输入查询的类型(文本或图片)动态选择最合适的检索路径。
  • 适用场景:查询类型多样,需要针对不同模态优化检索效率与准确性的场景。
在实际应用中,图像增强生成系统通常结合上述策略以实现最佳性能。例如,利用统一嵌入空间处理基础的跨模态检索,同时结合图像摘要技术处理复杂语义,确保系统既能处理直观的视觉匹配,也能理解深层的图像语义。

评论

评论区空态插画

当前文章无评论,是时候发表评论了