agent/RAG学习 个人笔记分享2
RAG(检索增强生成)是一种结合了信息检索与生成模型能力的技术架构。其核心机制是在用户提问前,先将知识库中的文档进行预处理、分片并向量化索引;在提问后,通过检索相关片段并结合上下文生成答案。这种模式有效提升了模型回答的准确性与时效性。
01核心概念
RAG的核心在于利用向量技术将非结构化文本转化为可计算的形式。Embedding模型将文本映射为高维向量,使得语义相近的内容在向量空间中距离更近。例如,“苹果是一种水果”与“梨是一种水果”的向量距离会远小于“汽车发动机”。
向量数据库则是存储这些向量的关键组件,它不仅存储原始文本和对应的向量,还提供近似最近邻搜索(ANN)功能。通过HNSW、IVF等索引算法,向量数据库能够在毫秒级时间内完成大规模数据的相似度检索,以极小的精度损失换取极高的查询效率。
02技术流程
- 预处理与分片
对原始文档进行清洗,并根据字数、段落或章节将其切分为多个片段。为了保留上下文的连贯性,分片时通常会设置重叠度,例如保留10%~20%的相邻片段重叠。 - 索引构建
使用Embedding模型将文本片段转换为向量,并将原始文本与向量一同存入向量数据库中,建立索引以支持快速检索。 - 召回(Retrieval)
通常采用混合检索策略,结合向量检索与关键词匹配。向量检索将用户问题转化为向量,并在数据库中计算相似度;关键词匹配则用于补充特定术语的查找。 - 重排(Rerank)
在初步召回的多个结果中(例如10个),利用重排模型进行精细化筛选,最终选取最相关的若干片段(例如3个)。这一步弥补了快速检索带来的精度损失。 - 生成(Generation)
将用户问题与筛选出的相关片段组合成上下文,输入给大语言模型,由模型生成最终答案。
03关键技术细节
在向量检索阶段,计算相似度是核心环节。常见的计算方法包括余弦相似度、欧氏距离和点积。余弦相似度关注向量方向的夹角;欧氏距离计算向量间的直线距离;点积则同时衡量方向和大小。不同的计算方式适用于不同的场景与数据分布。
| 计算方法 | 原理 | 相似度判定标准 |
|---|---|---|
| 余弦相似度 | 计算两个向量夹角的余弦值 | 夹角越小,相似度越高 |
| 欧氏距离 | 计算两个向量在空间中的直线距离 | 距离越小,相似度越高 |
| 点积 | 将向量投影后计算乘积 | 乘积越大,相似度越高 |
向量相似度计算方法对比
对于Embedding模型的选择,可以参考MTEB(Massive Text Embedding Benchmark)排行榜。该榜单提供了多种Embedding模型在多任务下的性能评估,帮助开发者根据实际需求选择合适的模型。
当前文章无评论,是时候发表评论了