什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

腾讯二面:RAG 的文本分块策略有哪些?怎么选?

在构建 RAG(检索增强生成)系统时,文本分块是影响检索效果的关键环节。分块策略直接决定了知识库的召回率和生成答案的准确性。目前主流的分块策略经历了从固定长度切分到语义理解,再到智能分块的演变。不同策略在实现难度、成本以及适用场景上存在显著差异,需要根据文档类型和业务需求进行选择。
01三代分块策略对比

分块策略核心差异

第一代:固定长度分块

按字符数或 Token 数切分

  • 实现方式:设定固定长度(如 512 Tokens),从头开始切分。
  • 优点:实现简单,性能高,适合大规模文档处理。
  • 缺点:容易切断语义,导致召回不完整。
  • 适用:结构简单的纯文本,如小说、新闻稿。
第二代:语义分块

按自然语义单元切分

  • 实现方式:识别段落、句子、列表等自然结构进行切分。
  • 优点:保证每块语义完整,召回率更高。
  • 缺点:单元长度不均匀,可能仍需二次拆分。
  • 适用:结构化文档,如技术文档、FAQ、产品说明书。
第三代:智能分块

利用 LLM 动态理解文档结构

  • 实现方式:利用 LLM 识别文档主题结构,按主题切分。
  • 优点:最符合人类理解,召回率最高。
  • 缺点:成本高(约 0.3-0.5 元/文档),速度慢,输出不稳定。
  • 适用:高价值文档,如核心技术文档、重要合同。
02关键参数设置与实施细节
参数维度建议设置原因与说明
分块长度256-512 Tokens需匹配 Embedding 模型最大长度(如 BGE-large-zh 为 512),不要切满。256-512 是兼顾语义完整性和检索速度的最佳区间。
重叠长度 (Overlap)Chunk 长度的 10-20%仅用于固定长度分块,用于缓解语义切断问题。太小无效,太大(>30%)显著增加存储和检索成本。
表格处理整块提取 / 文本描述禁止切分表格。若超过模型长度,可将其转换为文本描述或摘要存储。
代码处理整块提取 / 函数级切分识别代码块边界,按函数或类提取。过长代码可结合 LLM 生成的摘要进行存储。

RAG 分块关键参数配置指南

针对特殊内容如表格和代码,常规分块策略往往失效。表格被切断后数据关联性丢失,代码被切断后逻辑完整性破坏。因此,针对这两类内容,必须采取整块提取或摘要化的特殊处理方案,避免直接硬性切分。
03面试应答逻辑复盘
  1. 策略综述(15秒)
    简述三代策略(固定长度、语义分块、智能分块)及其核心差异:固定长度易切断语义,语义分块保证完整性,智能分块利用 LLM 理解结构。
  2. 选择标准(45秒)
    阐述基于文档类型和召回要求的选型逻辑。以退款政策文档为例,说明语义分块如何通过保证知识点完整(如“申请退款”流程)来提升召回率,避免固定长度分块导致的信息缺失。
  3. 成本权衡(30秒)
    主动分析智能分块的高成本与高收益,指出大部分场景下语义分块是性价比之选。同时补充混合策略思路:核心文档用智能分块,普通文档用语义分块。

评论

评论区空态插画

当前文章无评论,是时候发表评论了