什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

Karpathy 的 LLM 知识库方案开源了

Andrej Karpathy 近日开源了一套基于 LLM 的个人知识库构建方案,该方案以 GitHub Gist 形式发布,短时间内获得了大量关注。与目前主流的 RAG(检索增强生成)模式不同,Karpathy 提出了一种让 LLM 持续构建和维护 Wiki 的架构,旨在解决传统 RAG 模式下知识无法沉淀、每次查询都需从零拼凑的问题。
01方案架构:三层设计
该方案的核心在于构建一个持续演进的动态知识库,而非静态的文档检索系统。整体架构由 Raw Sources、Wiki 和 Schema 三个层级组成,各司其职。
  1. Raw Sources(原始资料)
    存储收集的原始资料,包括论文、文章、图片等。此层级仅作为 LLM 的只读输入,作为知识的真实来源。
  2. Wiki(知识库)
    由 LLM 生成并维护的一整套 Markdown 文件。包含摘要、实体页、概念页、对比分析及索引等。LLM 负责内容的撰写、更新及交叉引用的维护,用户仅负责阅读。
  3. Schema(配置规范)
    即配置文件(如 CLAUDE.md),定义了 Wiki 的结构规范和工作流程。用户需与 LLM 共同迭代此文件,以确保知识库构建的质量和一致性。
02核心操作流程
基于上述架构,该方案定义了三个核心操作环节,实现了从资料摄入、查询互动到质量维护的闭环。
操作环节具体说明
Ingest摄入新资料后,LLM 不止是生成摘要,而是会更新 Wiki 中所有相关页面。一篇资料的摄入可能触发 10-15 个关联页面的更新。
Query直接对 Wiki 提问,输出形式包括 Markdown 文档、对比表格、Marp 幻灯片或 Matplotlib 图表。优质回答可归档回 Wiki,将探索过程转化为知识积累。
Lint定期执行健康检查,由 LLM 自动识别矛盾信息、过期内容、孤立页面、缺失引用及需补充的概念。

三大核心操作功能对比

03RAG vs Wiki 模式对比

知识库构建模式对比

Wiki 模式优势
  • 知识持续沉淀与积累

  • 支持复杂的交叉引用

  • 查询结果基于综合理解

  • 探索过程可归档复用

传统 RAG 模式局限
  • 每次查询从零开始检索

  • 知识碎片化无沉淀

  • 跨文档综合能力弱

  • 临时拼接缺乏系统性

04应用场景与落地
该方案前端使用 Obsidian 进行浏览,将 LLM 视为程序员,Wiki 视为代码库。用户无需直接编写 Wiki,所有内容由 LLM 自动生成。这一工作流适用于深度研究、读书笔记(生成类似 Tolkien Gateway 的百科)、团队内部知识库(基于会议记录和 Slack 消息)、竞品分析及尽调等场景。

评论

评论区空态插画

当前文章无评论,是时候发表评论了