PageIndex:基于树导航的“无向量”RAG检索方案
传统RAG系统通常依赖向量数据库,通过文档分块、嵌入向量计算和相似度搜索来检索信息。然而,对于结构化文档(如手册、政策文档),一种名为PageIndex的“无向量”方案提供了不同的解决思路。该方法不依赖嵌入模型和相似度搜索,而是将文档转化为树状结构,模拟人类翻书的导航过程,逐层定位目标内容。
01核心原理与系统架构
PageIndex的核心逻辑是模拟人类阅读教科书的习惯:先看目录,锁定章节,再查看小节,最后翻到具体页面。系统将文档解析为一棵树,每个分支代表章节,叶子节点存储实际文本。检索时,LLM根据问题逐层选择分支,直到定位到叶子节点。
该系统的工作流程分为两个阶段:索引阶段和查询阶段。索引阶段只需运行一次,负责文档的解析、树构建及摘要生成;查询阶段则在每次提问时运行,通过树导航检索相关内容。
02实现步骤详解
- 定义节点结构
每个文档章节映射为一个PageNode,包含标题、原始内容(叶子节点)、LLM生成的摘要、深度及父子关系。 - 解析文档为树
将文档发给LLM分割成顶层章节。对于超过300词的长章节,再次调用LLM分割成子节点;短章节直接作为叶子节点。关键阈值为SUBSECTION_THRESHOLD = 300词。 - 生成摘要(自底向上)
采用后序遍历逻辑:先处理子节点,生成其摘要;父节点则基于所有子节点的摘要生成总摘要。这保证了层级信息的传递。 - 树搜索检索
从根节点开始,LLM根据当前节点的子节点摘要列表,选择最可能包含答案的分支,逐层向下导航直到叶子节点,并返回该节点的内容。 - 保存和加载索引
将构建好的树递归序列化为JSON文件保存。查询时从JSON反序列化加载索引,实现一次构建,多次使用。
| 对比维度 | 向量 RAG | PageIndex |
|---|---|---|
| 存储方式 | 向量数据库 | JSON 文件 |
| 检索方式 | 相似度搜索 | 树导航 |
| 嵌入模型 | 必需 | 不需要 |
| 可解释性 | 黑盒 | 路径可追溯 |
| 更新成本 | 增删向量 | 重建树 |
| 适用场景 | 大规模文档 | 结构化文档 |
PageIndex 与传统向量 RAG 的核心差异
03常见问题与解决方案
- LLM 总选错分支:原因通常是摘要过于模糊。解决方法是使用更强的模型生成摘要,或在提示词中要求更多细节。
- 章节切分位置不当:长文档分段时可能切断语义。解决方法包括增加max_tokens限制,或预先将文档切成约3000词的块再进行分段。
- 叶子内容过长:SUBSECTION_THRESHOLD 设置过高导致。解决方法是降低阈值,使更多章节被分割成子节点。
PageIndex方案展示了在特定场景下,结构化导航检索可能比向量搜索更自然、高效。其优势在于路径可追溯、无需向量基础设施以及较低的查询成本。但该方案也存在局限性,主要适用于结构化文档,对于非结构化文档(如新闻、对话记录)效果可能不佳,且大规模文档可能需要更深的树结构,增加导航步数。
当前文章无评论,是时候发表评论了