什么值得买App下载 App ›
连续签到专享现金活动

RAG 检索模型如何学习:三种损失函数的机制解析

随着 Agent 系统的快速演进,RAG(检索增强生成)技术也衍生出了 Agentic RAG 和 Self-RAG 等复杂变体。尽管 Agent 方法在效率和推理能力上不断改进,但底层依然离不开检索机制。检索模型的精度直接决定了系统所需的迭代调用次数,进而影响时间成本和算力消耗。因此,训练高效的检索模型仍然是 RAG 系统的核心关键。目前的讨论多集中在 RAG 的应用层面,而本文将聚焦于检索嵌入模型的学习机制,解析三种主要的损失函数:成对余弦嵌入损失、三元组边距损失和 InfoNCE 损失。
01检索系统的核心构成
一个完整的检索系统由多个组件协同工作,共同确保从海量数据中快速准确地定位相关信息。这些组件包括将文本转化为向量的检索嵌入模型、负责高效索引的算法(如 HNSW)、计算向量相似度的搜索机制(如余弦相似度)以及用于精排结果的重排序模型。本文仅针对其中的检索嵌入模型,探讨其通过不同的损失函数进行学习与优化的具体方式。
02三种损失函数的机制解析
检索模型训练的本质是学习文本之间的相似度关系。根据训练输入和优化目标的不同,可以采用三种主流的损失函数策略。这些策略在处理正负样本对的方式上各有侧重,适用于不同的数据规模和场景需求。
损失函数类型输入结构核心机制特点
Pairwise Cosine Embedding Loss一对文本 + 标签(正/负匹配)基于余弦相似度计算文本对嵌入向量 x 和 y 之间的损失结构简单,类似 MNLI 数据集的蕴含关系判断
Triplet Margin Loss锚文本 + 正匹配 + 负匹配优化锚文本嵌入 a 与正样本 p 的距离,同时拉大与负样本 n 的距离通过边距控制样本间的相对距离,介于另外两者之间
InfoNCE Loss查询 + 正匹配 + 一组负样本列表对比学习,最大化查询 q 与正样本 p* 的相似度,最小化与负样本列表 P' 的相似度覆盖面最广,灵感源自 M3-Embedding 论文,适合大规模负样本

三种检索模型损失函数对比

03实验结论与策略选择
在实际应用中,选择哪种损失函数并没有绝对的优劣之分,主要取决于具体场景、数据量和算力资源。从实验效果来看,InfoNCE 由于其广泛的覆盖能力,通常表现最为稳健。然而,只要实验设计充分、训练数据的正负样本比例调配得当,成对余弦嵌入损失也能达到与 InfoNCE 相近的效果。三元组边距损失作为一个折中选项,在特定场景下也具有其应用价值。
  • InfoNCE
    覆盖面广,适合包含多个负样本的复杂场景。
  • Pairwise Cosine Embedding
    在精细调优数据比例后,效果可媲美 InfoNCE,适合对结构要求简单的场景。
  • Triplet Margin
    介于两者之间的折中方案,提供了灵活的距离控制机制。

评论

评论区空态插画

当前文章无评论,是时候发表评论了