RAG搜索总踩空?BM25+向量混合召回专治“似是而非”
搜"ERROR 1062",向量检索排第一的结果是"MySQL常见错误代码及解决方案"——沾边,但不是你要的那个。精准命中"duplicate entry 1062"的那篇文档,愣是排到了第三。这就是纯向量检索的代价:它懂你的意思,但它认不出你的名字。1
先说清楚BM25到底是什么
BM25全称"Best Matching 25",诞生于上世纪90年代,是搜索引擎领域的经典老将。它的核心逻辑就三件事:词频、逆文档频率、文档长度归一化。简单说,一个词在文档里出现越多、分量越重,同时在其他文档里越少见,这个文档的得分就越高。2
但BM25比简单计数聪明得多。它有个叫"词频饱和"的机制:一个词出现10次和出现100次,相关性提升根本不是10倍关系。出现得越多,边际收益越低。这有效防止了有人靠堆砌关键词作弊。3
同时它会惩罚长文档。同样命中三个关键词,一篇500字的小教程会排在两万字的技术白皮书前面——因为篇幅长只是意味着"更可能撞上关键词",不代表真正相关。4
向量检索的问题出在哪
向量检索的强项是语义理解:你搜"怎么减肥",它能找到"如何瘦身",因为这两个词在高维空间里距离很近。这是它的核心价值。但代价是,它对精确字符串不敏感。5
在一份包含3000多条专有产品型号的合同数据里测试text-embedding-3-small模型,通用FAQ场景top-5召回率91%,切换到专有型号后直接跌到47%。"XX-3000/Pro"和"XX-2000/Lite"在语义空间里结构相似,都是"产品型号加编号后缀"——模型理解的是"这是某个型号的文档",不是"找到包含XX-3000/Pro这个字符串的文档"。6
BM25才是精准匹配的天花板
BM25不需要理解语义,它只做一件事:字面匹配。你搜"XX-3000/Pro",包含这个字符串的文档一个都跑不掉。错误码、版本号、产品型号、内部代号——这些向量模型"没见过"或者"见过但分不清"的东西,BM25照单全收。7
更重要的是,BM25完全可解释。每个词加了多少分、扣了多少分,清清楚楚。向量检索像个黑盒,你不知道某段文档为什么排在前面的真正原因。7
两条路怎么合并成一
双路召回各回各的结果,怎么合二为一?向量的余弦相似度和BM25的分数量纲根本不一样,直接相加是乱来。业界通用的解法是RRF(倒数排名融合):不管原始分数,只看每个文档在各路里排第几名,用排名的倒数来投票。8
公式很简单:RRF_score(d) = Σ(1 / (k + rank_i(d)))。k通常取60,作用是削弱头部名次的碾压效应。如果文档A在两路检索里都是第一,总分就是1/61 + 1/61 ≈ 0.033;如果只在BM25里排第二,只有1/62 ≈ 0.016。被两路同时命中的文档,分数会叠加,自然被顶到前面。9
实战怎么落地
中文场景有个关键细节:BM25必须先分词。直接按字符切,"iPhone15"和"iPhone"就是两个完全不同的词,效果会大打折扣。用jieba分词是基础操作,专有名词多的话还要加自定义词典——"XX-3000/Pro"不能被拆成"XX"、"3000"、"Pro"三个碎片。10
两路检索的chunk列表必须同源同下标。建库时就把向量索引和BM25索引绑在一起建,坚决不分开维护。融合时下标对不上,全乱套。延迟增加约30ms,换来专有名词召回率从47%提升到83%,这买卖划算。6
别等上线后被业务方打脸才想起加兜底。原型验证阶段就上混合架构,测试集里至少包含20%的专有名词query。"两条路并行走"不是可选项,是生产级RAG的baseline——向量负责"懂意思",BM25负责"对字眼",少一个都是瘸腿。6
当前文章无评论,是时候发表评论了