什么值得买App下载 App ›
连续签到专享现金活动

PageIndex:基于树导航的“无向量”RAG检索方案

传统RAG系统通常依赖向量数据库,通过文档分块、嵌入向量计算和相似度搜索来检索信息。然而,对于结构化文档(如手册、政策文档),一种名为PageIndex的“无向量”方案提供了不同的解决思路。该方法不依赖嵌入模型和相似度搜索,而是将文档转化为树状结构,模拟人类翻书的导航过程,逐层定位目标内容。
01核心原理与系统架构
PageIndex的核心逻辑是模拟人类阅读教科书的习惯:先看目录,锁定章节,再查看小节,最后翻到具体页面。系统将文档解析为一棵树,每个分支代表章节,叶子节点存储实际文本。检索时,LLM根据问题逐层选择分支,直到定位到叶子节点。
该系统的工作流程分为两个阶段:索引阶段和查询阶段。索引阶段只需运行一次,负责文档的解析、树构建及摘要生成;查询阶段则在每次提问时运行,通过树导航检索相关内容。
02实现步骤详解
  1. 定义节点结构
    每个文档章节映射为一个PageNode,包含标题、原始内容(叶子节点)、LLM生成的摘要、深度及父子关系。
  2. 解析文档为树
    将文档发给LLM分割成顶层章节。对于超过300词的长章节,再次调用LLM分割成子节点;短章节直接作为叶子节点。关键阈值为SUBSECTION_THRESHOLD = 300词。
  3. 生成摘要(自底向上)
    采用后序遍历逻辑:先处理子节点,生成其摘要;父节点则基于所有子节点的摘要生成总摘要。这保证了层级信息的传递。
  4. 树搜索检索
    从根节点开始,LLM根据当前节点的子节点摘要列表,选择最可能包含答案的分支,逐层向下导航直到叶子节点,并返回该节点的内容。
  5. 保存和加载索引
    将构建好的树递归序列化为JSON文件保存。查询时从JSON反序列化加载索引,实现一次构建,多次使用。
对比维度向量 RAGPageIndex
存储方式向量数据库JSON 文件
检索方式相似度搜索树导航
嵌入模型必需不需要
可解释性黑盒路径可追溯
更新成本增删向量重建树
适用场景大规模文档结构化文档

PageIndex 与传统向量 RAG 的核心差异

03常见问题与解决方案
  • LLM 总选错分支:原因通常是摘要过于模糊。解决方法是使用更强的模型生成摘要,或在提示词中要求更多细节。
  • 章节切分位置不当:长文档分段时可能切断语义。解决方法包括增加max_tokens限制,或预先将文档切成约3000词的块再进行分段。
  • 叶子内容过长:SUBSECTION_THRESHOLD 设置过高导致。解决方法是降低阈值,使更多章节被分割成子节点。
PageIndex方案展示了在特定场景下,结构化导航检索可能比向量搜索更自然、高效。其优势在于路径可追溯、无需向量基础设施以及较低的查询成本。但该方案也存在局限性,主要适用于结构化文档,对于非结构化文档(如新闻、对话记录)效果可能不佳,且大规模文档可能需要更深的树结构,增加导航步数。

评论

评论区空态插画

当前文章无评论,是时候发表评论了