Karpathy 的 LLM 知识库方案开源了
Andrej Karpathy 近日开源了一套基于 LLM 的个人知识库构建方案,该方案以 GitHub Gist 形式发布,短时间内获得了大量关注。与目前主流的 RAG(检索增强生成)模式不同,Karpathy 提出了一种让 LLM 持续构建和维护 Wiki 的架构,旨在解决传统 RAG 模式下知识无法沉淀、每次查询都需从零拼凑的问题。
01方案架构:三层设计
该方案的核心在于构建一个持续演进的动态知识库,而非静态的文档检索系统。整体架构由 Raw Sources、Wiki 和 Schema 三个层级组成,各司其职。
- Raw Sources(原始资料)
存储收集的原始资料,包括论文、文章、图片等。此层级仅作为 LLM 的只读输入,作为知识的真实来源。 - Wiki(知识库)
由 LLM 生成并维护的一整套 Markdown 文件。包含摘要、实体页、概念页、对比分析及索引等。LLM 负责内容的撰写、更新及交叉引用的维护,用户仅负责阅读。 - Schema(配置规范)
即配置文件(如 CLAUDE.md),定义了 Wiki 的结构规范和工作流程。用户需与 LLM 共同迭代此文件,以确保知识库构建的质量和一致性。
02核心操作流程
基于上述架构,该方案定义了三个核心操作环节,实现了从资料摄入、查询互动到质量维护的闭环。
| 操作环节 | 具体说明 |
|---|---|
| Ingest | 摄入新资料后,LLM 不止是生成摘要,而是会更新 Wiki 中所有相关页面。一篇资料的摄入可能触发 10-15 个关联页面的更新。 |
| Query | 直接对 Wiki 提问,输出形式包括 Markdown 文档、对比表格、Marp 幻灯片或 Matplotlib 图表。优质回答可归档回 Wiki,将探索过程转化为知识积累。 |
| Lint | 定期执行健康检查,由 LLM 自动识别矛盾信息、过期内容、孤立页面、缺失引用及需补充的概念。 |
三大核心操作功能对比
03RAG vs Wiki 模式对比
知识库构建模式对比
Wiki 模式优势
知识持续沉淀与积累
支持复杂的交叉引用
查询结果基于综合理解
探索过程可归档复用


传统 RAG 模式局限
每次查询从零开始检索
知识碎片化无沉淀
跨文档综合能力弱
临时拼接缺乏系统性
04应用场景与落地
该方案前端使用 Obsidian 进行浏览,将 LLM 视为程序员,Wiki 视为代码库。用户无需直接编写 Wiki,所有内容由 LLM 自动生成。这一工作流适用于深度研究、读书笔记(生成类似 Tolkien Gateway 的百科)、团队内部知识库(基于会议记录和 Slack 消息)、竞品分析及尽调等场景。
当前文章无评论,是时候发表评论了