RAG召回率从60%到91%:我赌你切分策略没做对
很多团队搭 RAG 系统,调了两个月 Embedding 模型,换了三版 Prompt,发现召回率还是卡在 60% 死活上不去。排查一圈,最后发现根子不在模型——在切分。有团队实测,光把固定 512 Token 硬切换成语义分块,召回率直接从 67% 跳到 91%,没改一行检索逻辑。Chunk 切得不对,后面堆再多优化都是徒劳。1
先搞清楚:Chunk 到底是什么
用户提问 → 系统从知识库里检索相关文档 → 大模型结合检索结果生成回答。这个流程里,召回率衡量的是系统能检索到所有相关文档的能力。假设知识库里有 5 篇相关文档,系统只找回了 2 篇,召回率就是 40%,剩下 60% 的有价值信息根本到不了大模型眼前。召回率低,答案必然残缺。2
而 Chunk(文本块)就是 RAG 检索的最小单位。原始文档切分成若干 Chunk,各自向量化存入向量库,用户提问时系统找出最相关的几个 Chunk,送给大模型生成答案。Chunk 大小决定了 AI 每次能看到的上下文粒度。太大,一块里混了太多主题,向量语义被稀释;太小,上下文断裂,单独看都不完整。3
固定长度切分为什么翻车
最常见的新手做法:代码里写死每 500 字切一块。这叫 Fixed-size Chunking,结果是语义在物理层面被腰斩。4
固定切分在保险条款文档上会产生三类系统性错误:跨章节内容混合——上一章结尾和下一章开头被塞进同一个 Chunk,这个 Chunk 的向量既不像章节 A 也不像章节 B;表头与数据分离——费率表跨了好几页,表头在前半段,数字行在后半段,"45 | 3500 | 100" 这种内容,大模型根本不知道 45 是年龄还是保费;列表项前导句丢失——"以下情况不在承保范围:(1)核辐射(2)战争","核辐射"被单独切进一个 Chunk,没有"不在承保范围"这层语义,用户问核辐射在不在保障范围,系统找到了 Chunk 但大模型答不准。5
实测下来,固定 512 Token 切分在普通文本问题上的召回率约 72%,表格类问题直接掉到 43%,否定查询和列表查询只有 58%。不是参数设小了,是切分逻辑根本不理解文档结构。5
切分策略演进:从"能用"到"好用"
第二代:句子级切分。改进思路很简单——不在句子中间切,只在句号、问号、换行这些自然边界切,相邻 Chunk 保留 2 句重叠。召回率从 67% 提升到 74%,解决了句子截断的问题。但核心短板还在:不识别文档层级结构,把章节标题和正文混在一个 Chunk 里;表格和列表的特殊结构没有处理。5
第三代:语义感知切分。核心思想变了——不是"把长文本切短",而是"识别文档的语义单元,按单元切分"。四步走:识别层级结构 → 按语义单元递归切 → 语义完整性检查 → 智能 Overlap。表格和代码块不可拆分,Overlap 100 Token 性价比最优。召回率拉到 91%,存储增加仅 10%。1
语义分块在工业级项目落地还有两处暗礁要避开:一是首次入库的性能与成本开销——语义分块需要把每句话都调用一次 Embedding 模型,建议海量文档先用本地轻量级模型离线分块,再用在线高精度模型做最终映射;二是极端情况下的"单句成块"和"超大块"——排版混乱的代码块可能一句话就切成一个 Chunk,撑爆向量库;极度粘稠的文章从头到尾切成同一个巨型 Chunk,失去分块意义。必须在编码时设定 Hard Limits,作为兜底风控。6
两个最关键参数:大小和重叠
Chunk 大小没有通用最优解,和查询强相关。事实型查询用 100 Token 的小 Chunk 才能精准命中,理解型查询需要 500 Token 以上的大 Chunk 才能匹配到关键上下文。AI21 Labs 的研究表明,不存在占绝对优势的单一 Chunk 大小,最优多尺寸方案相比任何固定尺寸都有 20%~40% 的准确率优势。7
但现实是,大多数场景下 512 Token 是一个合理的起步值。切分过小导致语义断裂——主语和动作被拆开,检索不到完整语义;切分过大导致信息稀释——关键信息被大量无关内容淹没,向量表示被噪声干扰。8
Overlap 的作用是防止关键信息恰好落在两个 Chunk 边界处被切断。来看一个真实案例:Chunk 1 结尾是"...退款需在 7 个工作日内处理,逾期将",Chunk 2 开头是"逾期将自动转交财务审核部门"。"7 个工作日"和"逾期转财务"被切在边界上,两个块各自都不够完整,检索时可能两个都排不进 Top-5。3
重叠比例建议设在 Chunk 大小的 15%~25%。超过 30%,向量库体积膨胀 30%+,检索结果大量重复浪费 Rerank 算力,收益急剧递减。重叠也不是越大越好,适中的重叠才是性价比最优选择。9
- 通用企业知识库(首选)
512 Token,400~600 字,通用场景的稳妥起点 - FAQ / 短问答
256~384 Token,200~400 字,精准匹配关键词 - 长报告 / 制度 / 合同
768~1024 Token,600~1200 字,上下文完整性要求高 - 技术文档(按标题层级切)
单节 ≤ 1024 Token,顺着章节结构切,效果比调参数更显著 - 代码库(按函数/类切)
300~500 Token 或按方法边界,一函数一块
按文档类型选策略
表格和 Excel 不能简单当成普通长文本切。电影数据为例,"《肖申克的救赎》| 1994 | 9.7 分 | 剧情"应该整行作为独立 Chunk,字段共享同一组 Metadata,而不是把单元格内容拆散。Excel 类 RAG 的重点不是 Chunk 大小,而是结构化字段的完整保留。10
代码检索是另一个重灾区。把整个文件扔进一个向量,工具类、业务逻辑、异常处理三个完全不同的模块互相拖拽,语义漂移严重。正确做法是按代码结构分层切分:类级别每个类/接口生成一个向量,方法级别每个 public 方法生成一个向量,自然语言文档按主题段落切分。测试显示,同一个用户问题,从之前匹配整个文件变成直接匹配到对应方法块,召回率从 60% 跳到 72%。11
客服场景里 BM25 很重要。用户的问题中经常有精确业务词,比如"怎么重置支付密码"里的"支付密码"是精确词,向量语义搜不到这个词的变体,BM25 关键词匹配正好补位。合同和制度类文档特别需要上下文扩展,因为一个问题可能涉及多个条款。一个 Chunk 应该包含所属条款编号和上一条相邻条款的内容,避免断章取义。10
元数据才是被低估的胜负手
很多团队在 Embedding 和 Rerank 上卷生卷死,却忽略了最基础的问题:每个 Chunk 必须附带来源文档、页码、章节、创建时间、文档类型等元数据。没有元数据的向量库就像数据库没有索引——查能查到,但准不准不知道。12
Chunk 级别的上下文元数据尤为关键。比如在技术文档的某个代码块前添加"此代码用于实现用户认证功能"这样的描述性元信息,可以让嵌入模型更好地理解这段代码的用途。文档切分之前,还应该先问:用户最可能怎么提问?围绕高频问题来设计 Chunk 的边界,比先写文档再随便切分要有效得多。2
实战选型路径
不要在 POC 阶段追求完美切块,用最简单的方案先跑通,让真实流量暴露问题再升级。入门阶段用固定切块(300 Token + 50 重叠),快速跑通全链路;生产阶段升级父子 Chunk,小块负责精准检索,大块负责提供上下文;高价值场景(法律条文、技术白皮书)补充语义切分加重排序。12
最后记住一个核心判断:切分做不好,元数据不齐全,后面堆 Embedding 调 Rerank 的效果永远有上限。数据处理才是 RAG 系统真正的地基,这块砸实了,召回率的天花板才能真正打开。14
当前文章无评论,是时候发表评论了