RAG总是答非所问?优化了两个月没效果,问题其实在检索这环
先说个扎心的数字
搭完RAG系统满怀期待跑了一下,结果返回的文档根本不相关——要么答非所问,要么漏掉关键信息,有时候还不如直接问大模型。业界平均检索准确率只有60-75%,意味着每4次检索就有1次找错内容。问题不在模型,在于检索这个环节。有人花了两个月调Prompt换模型,效果纹丝不动;有人加了一步查询改写,召回率直接涨了20%。RAG优化,检索才是主战场。1
检索为什么会拉胯
RAG检索失败,背后有三道鸿沟。第一道是表达鸿沟:用户问"Java内存溢出怎么排查",文档写的是"JVM Runtime Exception Handling Guide",在向量空间里距离可能很远——一个是用词口语化,一个是工程师术语。第二道是粒度鸿沟:用户问题指向一个具体点,知识库里的文档却是一篇长文,真正相关的可能只有一两段。Chunk切得太大,有效信息被稀释;切得太小,完整论述被拆散。第三道是意图鸿沟:用户问"Transformer的注意力机制",他到底是想了解原理还是看代码实现?Query本身没有给出足够的信息来精确定位检索方向。2
大部分人的RAG系统用的是纯向量检索——把文档块和用户问题各自转成向量,算相似度,取最接近的几条。这在"产品参数查询"类问题上挺好用,但企业里的真实问题长这样:"今年跟去年比,哪个客户的采购量下降最多?"——这需要结构化查询,不是语义匹配。"退货率上升,跟三个月前换的那个供应商有关系吗?"——这需要跨系统关联。单一向量检索只解决了一件事——"找一段跟问题语义接近的文字"。但企业的真实问题,一半以上不是"找文字",是"找关系""找变化""找差距"。3
三板斧之一:查询改写
别指望用户会好好提问。用户提问往往模糊、口语化,跟文档库里的表述差得远。直接拿原始查询去做向量检索,召回质量天然就有天花板。查询改写的思路是:在检索之前,用LLM把用户的一条查询扩展成多个语义变体,再分别去检索,最后合并结果。4
几种常用策略:Multi-Query是最基础的,用户问"怎么退款",系统自动展开为"退款流程是什么""申请退货的步骤""退款政策说明"三个查询,分别检索再合并去重。HyDE思路更有意思,它不改写问题,而是让LLM先编一个看起来像理想答案的短文档,再拿这个假文档的Embedding去检索。因为假文档跟真实答案在语义空间里更接近,召回效果经常比直接用问题向量好。Sub-Question Decomposition适合处理复合问题,"去年Q3和Q4华东区营收对比"直接检索很难一次命中,拆成两个子问题分别检索,合并后再生成,准确率能提升不少。4
三板斧之二:混合搜索
语义和关键词各有各的盲区。纯向量搜索对精确关键词不敏感,搜"ERR-4012"或"SKU-9942"这种具体错误码和产品型号,语义搜索可能返回一堆概念相近但完全不是你要找的东西。反过来,纯关键词搜索不理解同义词,用户搜"笔记本电脑",文档里写的是"laptop",BM25就匹配不上。4
混合搜索把两路结果合并。向量检索做语义匹配,关键词检索用BM25做精确匹配,两条路各取Top-K,然后合并排序。合并时要做分数归一化和加权——向量相似度和BM25分数的量纲不同,不能直接相加,先归一化到同一个区间,再按权重求和。实际部署时有个关键参数叫alpha,控制两路的权重,一般推荐0.7(70%语义+30%关键词)作为起点,碰到技术文档、代码库这种精确术语多的场景,可以调到0.4偏向关键词。还有一个容易被忽视的点:元数据过滤要和混合搜索一起用,用户问"2025年Q3欧洲区营收",光靠语义相似度可能会把2024年亚太区的数据也捞进来。4
三板斧之三:重排序
粗筛之后要精排一下。混合搜索拿到了20-50个候选文档,但直接全部塞给LLM不现实,Token浪费严重,而且研究表明LLM处理长上下文时对中间位置的信息记忆最差——"Lost in the Middle"效应。重排序在混合搜索和LLM之间加了一层精排,用Cross-Encoder模型同时看查询和每个候选文档,给出更准确的相关性分数,然后只取Top 3-5送进LLM。4
Rerank不是万能的。很多系统把Rerank当作救火层,认为只要把召回出来的前几十条再打一次分,就能把答案质量拉回来。但Rerank只能在候选池中重新排序,不能修复候选池的边界。如果召回阶段把真正证据排在了40名之后,而TopK只取20,重排器连看见它的机会都没有。这也是为什么召回治理不能只盯最终答案,要看整条链路的可证据性:问题命中了哪些候选,候选经过了什么阈值过滤,最终保留下来的片段是否真的包含答案句。5
评测不能靠感觉
先有基线,再谈优化。"我的RAG效果好不好?"这个问题的答案不能凭感觉,需要一个数字。改了分块大小后命中率变了吗?加了BM25后MRR涨了多少?没数据就没决策依据。RAG评估的最小可行方案:准备10-50条测试查询,每条查询标注一个"必须出现在检索结果中"的关键词,跑检索→检查关键词是否命中→计算指标→改参数→再跑→对比。6
两个核心指标:Hit Rate和MRR。Hit Rate回答"检索能不能找到答案"——Top-K结果中,有多少查询至少命中了一个正确答案。MRR回答"检索结果好不好用"——正确答案出现在第几位,排名越靠前分数越高。答案在第5位意味着根本不会被喂给LLM。10条查询就够建立方向感,不需要统计显著性,需要的是判断"分块500好还是1000好""加BM25有没有提升"这类问题的明确答案。6
一个简单的质量门槛:Hit Rate低于70%说明检索基础有问题,75-85%是中等可用,90%以上才算可信。每次改RAG管线前跑一次评估,记下数字,一个月后回头看,你会有一个完整的检索质量演进日志。没有基线的优化是盲调,有基线的优化是工程。1
先把坑避了
Chunk切分是最容易被低估的环节。最朴素的做法是按固定长度切,每500个token一段,overlap 50个token。这种切法的问题很明显:一段里可能包含多个不同主题的内容,导致向量表示模糊;或者一个完整的概念被切到两段里,检索时只命中了一半。7
解决方案是语义切分。不按固定长度切,按语义边界切。实现思路很简单:计算相邻句子之间的语义相似度,如果相似度低于阈值,就在那里切断。更进一步是多层级Chunk组织——父块2048字节存上下文,子块512字节做检索,兼顾精度和完整性。重叠比例10-20%——太少会丢失边界信息,太多会增加冗余。8
Embedding模型是检索的第一公里。一个糟糕的嵌入模型会天然混淆语义边界——"苹果"(水果)和"苹果"(公司)的向量距离可能比"苹果"和"香蕉"还近。切换Embedding模型的收益通常是召回率+5%到+15%,且没有技术风险。做法很简单:新建collection,用新模型重新跑一遍向量化,对比几个典型问题的召回结果。中文场景优先选择BGE-large-zh这类领域优化的模型,不要用公开的benchmark分数做决定,用你的业务数据测。9
怎么动手
这套组合拳打下来,检索准确率从60分拉到90分不是梦。关键是检索质量是RAG系统的瓶颈所在,不应该用"换个更大的模型"来弥补检索的短板——那只会让问题变得更隐蔽、更难排查。Embedding选型→Chunk策略→混合检索→重排序,这个顺序不要跳级,先把"喂给模型的东西"搞对,再考虑"模型怎么用这些东西"。11
当前文章无评论,是时候发表评论了