如何用LLM和自有知识库搭建智能agent?
随着大语言模型(LLM)能力的提升,如何利用AI构建和维护个人或企业的知识库成为技术热点。Andrej Karpathy 提出的“LLM Wiki”方案,旨在通过LLM将碎片化的原始信息编译为持久的、结构化的知识库,解决传统RAG(检索增强生成)架构在语义保持、状态积累和长时维护方面的结构性痛点。这一方案不仅降低了知识管理的维护成本,也为构建专业领域的智能Agent提供了新的底层架构思路。
01传统RAG架构的结构性局限
- 语义断裂风险
传统RAG需将文档切分为小块(Chunk),小切分(100-256 tokens)虽检索精确但易丢失上下文因果,大切分(1024+ tokens)虽保留语境但导致向量匹配模糊。Vectara 2025年研究显示,语义分块虽平均仅43 tokens,但因上下文过少可能导致答案错误。 - 无状态查询机制
每次查询都需要重新检索和拼接片段,缺乏累积学习能力。arXiv论文(2602.05152)指出,RAG的适配在每次查询后即被丢弃,无法实现知识的持续沉淀与复用。 - 检索随规模恶化
LangChain的Multi-Needle测试表明,同时检索多条分散信息时成功率显著下降,且存在“Lost in the Middle”现象,即LLM对Context中间部分的信息敏感度较低。 - Embedding更新成本高
文档变更或模型升级需要重新计算整个语料库的向量,对于高频更新的知识库构成了持续的计算开销。
02LLM Wiki:编译式知识管理
知识处理模式对比
持久化与增量编译
采用增量编译机制,新信息仅更新相关Wiki页面,无需重写全库。
知识被“编译”为结构化Markdown,保留交叉引用并标记矛盾,支持累积学习。
维护成本接近于零,LLM自动处理格式、链接和摘要更新。


临时性与碎片化检索
每次查询都从原始文档重新检索,类似每次运行程序都重新编译。
无中间产物缓存,无法跨会话积累知识或修正错误。
维护高度依赖人工整理,随着规模扩大易陷入混乱。
03系统架构与核心组件
- 原始来源层
存储不可变的原始文档(论文、代码、数据集等),作为事实依据的锚点,LLM仅读取不修改。 - Wiki 编译层
由LLM生成和维护的Markdown文件目录,包含实体页面、概念摘要、对比分析等,支持双向链接。 - Schema 配置层
定义系统的核心“操作手册”,包含目录结构、Frontmatter规范、工作流(ingest/query/lint)及写作风格,确保LLM输出的一致性与纪律性。
| 配置项 | 功能描述 | 作用价值 |
|---|---|---|
| Frontmatter | 页面顶部的YAML元数据(如confidence, status) | 支持动态查询与一致性检查,量化信息可信度 |
| index.md | 内容导向的总目录 | 作为导航入口,供LLM快速定位相关页面 |
| log.md | 按时间顺序追加的操作记录 | 留存变更历史,便于追溯与审计 |
关键配置文件说明
04核心工作流与实操
- Ingest(摄入)
将新文档放入raw目录,LLM阅读并提取关键信息,更新相关Wiki页面(约10-15页)。利用精确字符串匹配(如Claude Code的Edit工具)进行安全修改。 - Query(查询)
LLM搜索相关页面,阅读并生成带引用的回答。优秀回答可回填至Wiki作为新页面,实现探索积累。 - Lint(体检)
定期运行检查,发现断链、孤立节点或过时内容,并根据status字段(如needs-update)生成维护建议。
05工具链与搜索演进
前端推荐使用Obsidian,配合Graph View查看结构,Dataview进行动态查询。当Wiki规模超过100-150个页面时,Index导航效率下降,需引入本地搜索引擎qmd。qmd提供混合检索管线(BM25+向量),支持MCP Server模式,赋予Agent直接检索文档的能力。
06思想溯源与社区实现
- 1945年07月
- 1950年
- 1989年
- 查看全部进展
- llm-wiki-compiler
目前星数最高的实现,实测在383个文件中Token消耗降低84%,提供章节覆盖度标注。 - karpathy-wiki
基于Claude Code的工具箱技能,支持通过自然语言指令初始化研究Wiki。 - sage-wiki
独立工具路线,支持自动提取概念与发现交叉引用,不依赖特定Agent框架。
当前文章无评论,是时候发表评论了