什么值得买App下载 App ›
连续签到专享现金活动

RAG效果差别怪模型:检索层3刀砍下去,准确率从66%到91%

很多团队搭完RAG,上线一跑发现用户问东答西,第一反应是换更大的模型。花了预算、等了排期,效果纹丝不动。问题根本不在生成侧——检索层挖的坑,再强的语言模型也填不上。
有个真实案例:用户问"年假几天",RAG把员工手册召回来了,返回的却是"病假规定"。向量相似度上"年假"和"病假"太近了,大模型根本没机会纠错。后来加了混合检索加元数据过滤,准确率从66%直接拉到83%。这个坑,80%的RAG项目都踩过。1
检索不准这件事,不是向量模型不行,是整个召回链路的每个环节都在漏。分块太粗、检索策略太单一、重排环节缺失——这三刀砍下去,召回的有效内容占比可能不到三成。
第一刀:分块策略——别再用固定长度硬切了
固定长度切块是最常见的偷懒做法。按200字符或512 Token一刀下去,把完整的"会员退款规则"切成两半——前一半讲退款条件,后一半讲到账时间。检索的时候只能拿到其中一块,大模型根本拼不出完整答案。2
语义完整的切片比啥都重要。研究表明,按段落、标题层级这类语义边界分块,检索准确率能提升15%-20%。不同文档要有不同的切法:Markdown按标题切,PDF按段落切,代码按函数切。3
进阶玩法是"小块检索,大块喂"。索引用语义集中的小chunk,召回后再把父块上下文一起塞给大模型。有人实测,光这一项改动就能让准确率提升8个百分点。切块策略是最容易被忽视的环节,但它的影响远大于模型选择。4
第二刀:混合检索——向量和关键词各有所长,别只用一种
纯向量检索有个致命弱点:专有名词、产品型号、人名编号这些精确表述,向量经常因为语义相似度不够而漏召。用户搜"RTX4090功耗",向量可能召回一堆显卡功耗的通用内容,真正的RTX4090文档反而沉底。5
加一路BM25关键词检索,效果立竿见影。有人做过对照测试:换更贵的向量模型,召回准确率平均提升8%,成本涨3倍;加零代码关键词混合检索,召回准确率平均提升20%,成本几乎为零。效果是换模型的2倍还多。5
两路召回的结果怎么合并?用RRF(倒数排名融合)算法——不是简单堆一起,而是根据两路各自的排名做加权。语义类问题向量权重高,精确查询类问题关键词权重高。这一步优化完,长尾query的召回率能涨35%。6
第三刀:重排序——召回多不如召回准
混合检索可能召回50个候选文档,但它们并非同等重要。有人测试发现,召回的Top3里经常有两个是"看起来像但答不对题"的——向量相似度高不代表能回答问题。需要一层重排序模型,把真正有用的文档往前捞。1
重排序用的是Cross-Encoder,和向量检索的Bi-Encoder思路完全不同。Bi-Encoder为了速度,把query和文档分别独立转向量;Cross-Encoder把两者一起喂进去做深度交互打分。这一步让准确率从68%直接跳到79%,是所有优化里投入产出比最高的一个。4
不过Cross-Encoder计算开销大,对Top100重排可能比检索本身还慢。生产环境一般先用轻量级重排模型,或者只对混合检索后的Top10-20做精排。延迟增加50-100ms,换来10%-20%的精度提升,客服场景值这个价。1
还有一个思路是让重排序和生成任务对齐——除了算相似度,还要判断这个chunk能不能回答用户的问题。加入"可回答性评分"后,有团队实测准确率再涨5个百分点。通用重排只看query和content像不像,不管这个内容能不能用,这是个本质区别。2
配套动作:元数据过滤和查询改写
检索结果里经常混进不相关的内容。用户问"Java日志在哪看",可能同时召回Java、Python、运维的各种文档。入库时给每个chunk打上标签,检索时先用元数据过滤缩小范围,准确率能再涨5%以上。4
用户问的不一定是最好的检索词。把"年假"改写成"年休假规定几天",检索命中率能大幅提升。高级做法是用LLM生成多个改写版本分别检索,再合并结果。改写模型不需要太大,在目标场景数据上微调过的小模型,准确率比GPT改写高15%,成本只有十分之一。2
优化顺序不能乱
很多人上来就买最贵的向量模型、调复杂的重排,结果发现效果没提升。调优顺序绝对不能乱:先开关键词补全打基础,再调权重提排序,最后加重排提精度。5
还有个最重要的配套动作很多人忽视——建立评测集。有人花了2天重构RAG流程,准确率从62%拉到91%,但他强调:没有评测集,你所有的优化都是盲人摸象。整理200个带标准答案的问答对,每次改动后跑一遍,量化效果才能真正迭代。4
RAG优化的核心结论就三条:分块要按语义切别硬砍,检索要混合向量和关键词,重排要用能判断可回答性的模型。做完这三步,准确率从60%到90%不是玄学,是工程。

评论

评论区空态插画

当前文章无评论,是时候发表评论了