针对传统RAG在处理跨文档引用和全局上下文时的局限,Agentic File Exploration系统利用LLM模拟人类探索行为,通过三阶段流程深入挖掘信息,并支持本地模型运行,为解决复杂文档查询难题提供了新思路。
智能速览
传统RAG因分块处理丢失全局上下文,难以应对跨文档查询。
Agentic File Exploration通过模拟人类探索,分扫描、深度检索和回溯三阶段完成任务。
系统提供六种工具,支持文件夹扫描、正则搜索和文件内容读取。
项目支持云端模型和通过Ollama在本地运行Qwen等大模型。
在NVIDIA DGX Station上测试,32B模型能处理复杂查询,但耗时较长。
精华内容
传统检索方法的局限日益凸显,一种模仿人类探索行为的智能体系统,正为跨文档深度搜索带来新的解决方案。
RAG的先天短板
当前主流的检索增强生成(RAG)系统大多依赖语义相似性,通过将文档分块来匹配用户查询。这种方法存在明显短板:分块处理会破坏文档的全局上下文,导致系统无法理解跨文档的引用和依赖关系。当答案散落在多个文件中时,传统RAG很容易检索失败,无法给出准确完整的答复。
三阶段探索机制
为解决上述问题,Agentic File Exploration采用三阶段探索流程。第一阶段是“扫描”,系统利用LLM快速审查所有文档的开头部分,筛选出与查询可能相关的文档。第二阶段是“深度挖掘”,LLM会完整阅读这些筛选出的文档,并识别其中的交叉引用。第三阶段是“回溯”,智能体根据交叉引用信息,返回去查阅初步探索中遗漏的文件,最终整合所有必要的上下文信息,形成全面答案。
技术实现与工具
该系统受编程智能体的启发,配备了六种工具,包括扫描文件夹、解析文档、预览文件、读取内容、基于正则表达式的全文件搜索以及通过路径模式查找文件。项目使用Llama Index进行事件驱动的循环编排,并通过Dockling将PDF等文件统一转换为Markdown格式,简化LLM的处理过程。最初系统基于Gemini 3 Flash构建,现已兼容通过Ollama运行本地模型。
本地模型实测
在本地运行方面,实验发现较小的模型(如8B、14B参数)难以胜任复杂的探索任务。Qwen的32B模型表现更佳,但需调整系统提示词以确保其正确使用工具。测试在配备128GB统一内存的NVIDIA DGX Station上进行,一个涉及多文件的复杂查询耗时约4分钟,占用了约96GB内存。这表明该系统更适用于深度文档生成,而非实时聊天,其优势在于能运行更大规模的模型和更长的上下文窗口(实测可达64k tokens)。
Agentic文件搜索通过模拟人类探索流程,有效解决了传统RAG的局限性,尤其适合需要深度分析的复杂场景。它虽非实时交互工具,但在本地化AI知识库构建上展现了巨大潜力,未来或将重塑信息检索方式。