京东大模型二面:你知道哪些方法可以提高RAG的检索正确率?
在 RAG(检索增强生成)系统的工程化落地中,检索环节往往是被低估的核心痛点。许多优化尝试聚焦于 Prompt 调优或更换更强的生成模型,但效果不佳的根本原因通常在于检索端未能准确召回相关上下文。解决这一问题,需要深入理解用户查询与知识库之间的“三重鸿沟”,并从 Query 侧、索引侧、检索策略及重排序四个层面实施系统化的优化。
01检索痛点的根源:三重鸿沟
检索环节的三重核心障碍
表达鸿沟
用户口语化提问与文档书面化表达之间的差异
- 用户常使用口语提问,如“模型老是胡说八道怎么办”
- 知识库文档多为学术化或正式表述,如“大语言模型幻觉问题的缓解策略”
- 两者语义相同但文本形式差异大,导致向量空间距离较远
粒度鸿沟
精确的信息需求与粗粒度文档块之间的矛盾
- 用户问题通常指向具体知识点
- 知识库文档多为长文,有效信息可能仅集中于少数段落
- Chunk 切分过大导致有效信息被稀释,过小则导致上下文缺失
意图鸿沟
模糊的 Query 与背后真实需求之间的信息差
- 用户 Query 往往简短模糊,如“Transformer 的注意力机制”
- 单一 Query 可能包含多种潜在意图(原理、代码、对比等)
- 缺乏上下文信息,难以精确定位检索方向
02Query 侧优化:改造问题以适应知识库
- Query Rewriting(查询改写)
利用 LLM 在检索前对用户原始 Query 进行改写,在保持语义不变的前提下,使其更接近知识库的表述风格(如将口语转为书面语),从而在向量空间中获得更高的匹配度。 - Multi-Query(多查询扩展)
让 LLM 从不同角度生成多个 Query 变体,分别进行检索后合并去重。这相当于从多个方向照亮知识库,能显著提升召回覆盖率。 - HyDE(假设性文档嵌入)
让 LLM 生成一个“假想的理想答案”,虽然事实可能不准确,但其文体和表述与真实文档高度一致。用该假想文档的 Embedding 去检索,实现了“文档找文档”的同体裁匹配。
03索引侧优化:改造知识库以适应问题
索引优化发生在离线数据预处理阶段,核心在于构建高质量的文档结构。首先,Chunk 切分策略不应简单按固定长度切割,而应基于语义边界(如段落、章节或语义转折点)进行拆分,确保每个 Chunk 内部信息自洽。
多层级 Chunk 组织是兼顾精度与上下文的有效手段。采用“小 Chunk 检索,大 Chunk 喂模型”策略:检索时使用细粒度 Chunk(如 128 token)保证精准匹配,召回后将该 Chunk 所属的上级大 Chunk(如整个段落)输入 LLM,从而既保证了检索的准确性,又维护了语义的完整性。
此外,对于垂直领域(如医疗、法律),使用领域数据微调 Embedding 模型至关重要,它能将语义相近的概念在向量空间中拉得更近。同时,为 Chunk 附加标题、时间戳、作者等结构化元数据,可在检索前进行精确过滤,大幅减少噪声干扰。
04检索与重排:精准获取高质量结果
在检索策略层面,混合检索(Hybrid Search)是目前投入产出比最高的方案。它结合了向量检索(擅长语义匹配)和关键词检索 BM25(擅长精确匹配),通过 RRF 等算法融合排序,既保留了语义理解能力,又避免了漏掉专有名词或错误码等精确匹配项。
初次检索后,引入 Reranking(重排序)环节是提升质量的关键。初次检索通常采用 Bi-Encoder 架构以求速度,而 Reranker 采用 Cross-Encoder 架构,将 Query 和候选文档拼接输入,让两者进行充分的 Token 级交互。虽然计算成本较高,但仅对 Top-K(如 20-50)结果进行重排,能显著提高最终上下文的相关性准确度。
05基础前提:数据清洗与质量把控
所有检索优化策略的前提是源数据本身的高质量。如果知识库中存在格式混乱、内容重复、信息过时或互相矛盾的文档,任何高级检索算法都无法挽救。数据清洗通常占据 RAG 系统建设工作量的一半以上,包括去除 PDF 转换噪声、去重合并、标注时效性以及对非文本内容(表格、图片)进行结构化提取。
当前文章无评论,是时候发表评论了