大模型面试题详解 | Embedding原理、RAG检索优化与多模态策略
Embedding技术是将文本单位映射到连续低维实数向量空间的核心方法,使得语义相近的文本在空间中距离更近。该技术历经了从静态词向量(如Word2Vec、GloVe)到基于Transformer的上下文句向量(如BERT、SBERT)的演进。完整的向量化流水线涵盖预处理、Tokenization、上下文化、Pooling层聚合以及规范化后处理等关键步骤,最终生成可用于相似度计算与语义检索的向量表达。
01文本向量化核心流程
- 预处理与Tokenization
对原始文本进行清洗,并采用分词或子词算法将文本切分为模型可处理的Token序列。 - 上下文化
利用Transformer等模型捕捉Token的上下文信息,生成包含语义的Token级向量。 - Pooling聚合
通过取[CLS]标记、Mean Pooling(平均池化)、Max Pooling(最大池化)或Attention加权池化,将Token向量聚合为句向量。 - 规范化后处理
执行L2归一化以适配余弦相似度计算,或使用PCA、白化等手段缓解向量空间的各向异性问题。
在模型训练层面,不同阶段的Embedding技术采用了差异化的目标函数。静态词向量主要依赖Skip-gram与CBOW架构配合负采样,或利用GloVe基于全局共现统计进行训练;上下文预训练模型则采用Masked LM(如BERT)或Causal LM(如GPT);而专门面向句向量的模型(如SBERT、SimCSE)则主要通过对比损失进行优化,以增强向量空间的语义辨识度。
02RAG检索优化:混合检索与重排
为兼顾精确的关键词匹配与语义相似性,RAG系统普遍采用“混合检索+重排”的流水线架构。该策略首先利用BM25与Dense向量检索并行召回候选文档,取并集后,再通过Cross-Encoder(交叉编码器)进行精排,从而大幅提升检索准确性与可解释性。
BM25作为经典的词袋模型,其评分机制基于词频与逆文档频率。对于查询Q和文档D,BM25的得分计算公式综合考量了词项的饱和度与文档长度的归一化,其核心公式为:
| 检索阶段 | BM25 (稀疏检索) | Dense Retrieval (稠密检索) | Cross-Encoder (重排) |
|---|---|---|---|
| 核心原理 | 基于词频统计的精确匹配 (Bag-of-Words) | 基于语义向量的相似度匹配 | 深度交叉注意力机制,强交互计算 |
| 主要优势 | 擅长匹配专有名词、关键词,解释性强 | 捕捉语义关联,解决词汇鸿沟问题 | 排序精度最高,能细微分辨相关性差异 |
| 计算成本 | 低效,检索速度快 | 中等,依赖向量数据库索引 | 高昂,计算量大,适合小规模精排 |
| 典型应用 | 初筛候选文档 | 初筛候选文档 | 对召回候选集进行最终精排 |
RAG检索系统中不同检索组件的对比
在重排阶段,Cross-Encoder将查询与候选文档拼接输入模型(如BAAI/bge-reranker-large),直接输出相关性分数。这种全交互模式虽然计算成本较高,但能显著优于双塔模型(Bi-Encoder)的排序效果,常用于对混合检索召回的前几十个文档进行精细化处理。
03多模态Embedding与检索策略
面对包含图像的输入数据,RAG系统需要采用多模态检索策略以融合视觉与文本信息。主流方案包括统一嵌入空间检索、多模态检索以及图像摘要与文本检索,分别适用于不同的业务场景与数据特性。
多模态检索策略分类
统一嵌入空间检索
将文本和图像映射到同一向量空间,实现跨模态直接比对。
- 核心机制:使用CLIP等模型将不同模态数据对齐到共享特征空间。
- 检索方式:查询向量(文本或图像)直接在统一空间中检索最相关的任一模态内容。
- 适用场景:需要同时处理文本和图像,且对跨模态语义对齐要求较高的场景。
图像摘要与文本检索
将图像转化为文本描述,复用成熟的文本检索技术。
- 核心机制:利用GPT-4V或LLaVA等多模态模型生成图像摘要。
- 检索方式:将图像摘要与原始文本共同嵌入向量库,查询时仅进行文本-文本检索。
- 适用场景:图像内容可被文本精准描述,且希望降低系统复杂度、利用现有文本检索基建的场景。
多模态检索
分别处理不同模态路径,根据查询类型动态选择。
- 核心机制:为文本和图像建立独立的索引或嵌入路径。
- 检索方式:根据输入查询的类型(文本或图片)动态选择最合适的检索路径。
- 适用场景:查询类型多样,需要针对不同模态优化检索效率与准确性的场景。
在实际应用中,图像增强生成系统通常结合上述策略以实现最佳性能。例如,利用统一嵌入空间处理基础的跨模态检索,同时结合图像摘要技术处理复杂语义,确保系统既能处理直观的视觉匹配,也能理解深层的图像语义。
当前文章无评论,是时候发表评论了