AI大神Karpathy 最新分享:LLM Wiki 让知识像代码一样维护
传统 RAG(检索增强生成)知识库在处理长期知识管理时存在固有局限:每次查询均需从零开始检索与合成,缺乏知识间的连接积累,且无法实现新旧知识的动态演进。针对这一痛点,AI 专家 Andrej Karpathy 提出了 LLM Wiki 的设计方案,旨在将大模型从临时检索工具转变为“知识库维护者”,使知识能够像代码一样被持续构建、维护和复用。
01传统 RAG 的局限性
- 重复计算效率低
每次查询都需要重新进行向量化检索和答案合成,无法复用之前的计算结果。 - 知识孤岛效应
检索到的片段之间缺乏内在连接,知识处于离散状态,难以形成体系。 - 静态知识库
知识内容固定不变,缺乏随时间推移和交互深入而进行自我演进和融合的机制。
02LLM Wiki 的核心架构
LLM Wiki 引入了一种新的知识库实现思路,采用三层架构设计,将原本的临时检索过程转变为结构化的知识沉淀。
LLM Wiki 三层架构解析
Raw Sources
原始数据层
- 定义:用户精心挑选的原始文档集合(如网页、本地文件)。
- 作用:作为知识的输入源头,存储未经处理的原始信息。
Wiki
核心知识层
- 定义:由 LLM 完全拥有和维护的 Markdown 文件集合。
- 作用:存储经过提取、整理和结构化后的核心知识内容。
Schema
元配置层
- 定义:指导 LLM 如何维护 Wiki 的配置文件。
- 作用:定义知识处理的规则、逻辑及操作指令。
03实操:基于 Obsidian 搭建 LLM Wiki
为了降低普通用户的使用门槛,可利用 Obsidian 的双向链接特性结合 AI Agent(如 Claude Code)来实现 LLM Wiki 的搭建。具体流程如下:
| 步骤 | 操作动作 | 关键说明 |
|---|---|---|
| 1. 环境准备 | 下载安装 Obsidian,并初始化一个本地 Vault(知识库目录)。 | Obsidian 天然支持双向链接及 Web Clipper,便于将网页转为 Markdown。 |
| 2. Agent 介入 | 在本地目录中打开 AI Agent(如 Claude Code、Qwen Code)。 | 利用 Agent 的代码与文本处理能力执行后续逻辑。 |
| 3. 投喂提示词 | 在 AI Agent 对话框中输入特定的提示词,初始化知识库架构。 | 提示词需包含对三层架构的定义及处理指令。 |
| 4. 导入内容 | 提供 URL 链接或将本地文件放入 raw 目录,告知 AI 文件位置。 | 支持通过 Obsidian Web Clipper 直接保存外网文章至本地 raw 目录。 |
| 5. 生成维护 | AI 根据 Schema 提取 Raw Sources 核心内容,生成或更新 Wiki 目录下的 Markdown 文件。 | 生成结果独立于 raw 目录,后续变更原始位置不影响已生成内容。 |
Obsidian + AI Agent 搭建流程
当前文章无评论,是时候发表评论了