在构建Agentic RAG系统时，文档分块策略直接决定了检索效果与最终输出质量。固定大小、递归、语义、LLM及层次化，五种主流策略各有侧重。理解其内在逻辑与适用场景，是优化RAG性能的关键一步。本文将深入探讨这些策略，帮助为不同类型的文档找到最合适的切分方案，从而让AI应用更精准高效。
智能速览
固定大小分块速度快，适用于用户手册等结构化文档。
递归分块智能适应文本结构，适合博客与代码文章。
语义分块注重上下文连贯性，常用于研究论文。
LLM分块利用大模型决策，能处理法律合同等复杂文本。
层次化分块构建总-分结构，让年报等长文档更清晰。
选择分块策略的核心是匹配文档类型与具体需求。
精华内容
每种分块策略背后都有其独特的设计哲学和适用边界。深入理解它们的工作原理、优势与局限，才能在实际应用中做出最佳选择。
固定大小分块
固定大小分块是最基础直观的策略，它无视标点和段落，将文档切分为指定字符数的小块，例如每块512个字符。这种方法实现简单，处理速度快，非常适合结构化程度高、语义关联性弱的文档，如API文档、技术规范或FAQ列表。但在处理长篇文章时，可能会在句子中间切断，导致上下文信息不完整，影响检索的准确性。
递归分块
递归分块采用一种更智能的方式，它会按照一组预定义的分隔符（如段落、句子、词汇）顺序尝试切分。先尝试按段落分，如果块太大，再按句子分，最后才是按固定大小。这种方式保留了更多的文本结构，相比固定大小分块，能更好地维持上下文的连贯性，使其成为处理博客文章、新闻报道和包含代码片段的通用文本的理想选择。
语义分块
此策略不再以字数或行数为依据，而是利用 embedding 模型计算文本的语义相似度。它会把意思相近的句子聚合在一起，形成一个个语义完整的块。这种方式能有效避免在话题转换处被切断，确保每个分块内部信息的高度相关性。因此，它特别适用于逻辑严密、上下文依赖性强的内容，如学术论文、深度分析报告和技术白皮书。
LLM智能分块
这是一种前沿的方法，直接调用大语言模型（如GPT-4）来“阅读”并决定如何切分文档。可以通过 prompt 指导LLM根据特定目标进行分块，例如“请将这份合同按条款进行划分”。它的优势在于具备强大的上下文理解和推理能力，能处理法律合同、政策文件等极其复杂的非结构化文本。但缺点是成本较高，且处理速度较慢。
层次化分块
层次化分块旨在模拟人类的阅读习惯，创建一个包含摘要和细节的多级结构。它会首先提取文档的主标题和核心内容作为父块，然后将其下的各个章节作为子块。检索时，可以先匹配到父块，再深入到具体的子块，从而实现既宏观又精准的信息获取。这种方法非常适用于具有清晰层次结构的文档，如公司年度报告、学位论文或用户手册，能够提供极佳的导航和信息定位体验。
分块策略的选择是RAG系统成败的关键。从简单的固定切分到智能的语义理解，每种方法都为特定场景而生。在实践中，最佳方案往往是混合使用或根据任务动态调整。未来，随着AI技术发展，分块策略也将朝着更自动化、更精细化的方向演进，你准备好了吗？
