什么值得买App下载 App ›
连续签到专享现金活动

RAG 2.0?卡帕西的 LLM-Wiki 到底在讲什么

Andrej Karpathy 提出的 LLM-Wiki 概念,被视为对当前主流 RAG(检索增强生成)技术的深层演进。这一理念的核心在于将重点从单纯的“检索资料”转向“管理知识”,旨在通过结构化的知识编译,解决传统 RAG 在长期记忆维护和复杂推理方面的局限性。
01传统 RAG 的局限
传统 RAG 范式主要依赖于 query-time retrieval(查询时检索)。其工作流程通常是将文档切分为片段,向量化后存入数据库,当用户提问时,系统再检索相关片段并即时生成答案。虽然这种方式在条款查询、参数核对等事实性查找上表现优异,但在面对需要深度理解和全局视角的任务时,其局限性逐渐显现。
  • 重复计算
    每次提问都需要重新检索和组合上下文,效率存在瓶颈。
  • 知识碎片化
    检索结果往往是孤立的信息片段,难以形成对结构、关系和冲突的全局理解。
  • 缺乏沉淀
    无法像人类专家那样,通过多次阅读将知识内化为长期记忆。
02LLM-Wiki:知识编译范式
LLM-Wiki 引入了 ingest-time synthesis(摄入时综合)的思路。其核心逻辑是:资料进入系统时,先由 LLM 将原始源文件编译成一套结构化的 Markdown Wiki。后续查询不再依赖原始碎片,而是基于这套已经整理好的知识层进行推理、引用和更新。这种机制强调知识只需编译一次,然后持续维护,而非每次查询都重新推导。

技术范式对比:RAG vs LLM-Wiki

Query-time Retrieval
  • 每次提问都需要重新检索

  • 知识呈现碎片化,难以形成全局理解

  • 上下文构建不稳定,容易遗漏关键信息

Ingest-time Synthesis
  • 先编译知识,后续查询更高效

  • 结构化沉淀,形成知识网络

  • 持续更新、可追溯、可复用

03三层架构解析
LLM-Wiki 的架构设计旨在模拟人类知识管理的过程,通过分层实现从原始数据到结构化智慧的转化。

LLM-Wiki 三层核心架构

1. Raw Sources (原始资料层)

作为不可改变的事实来源,保留完整的上下文信息。

  • 包含 Docs、Code、Images 等原始格式
  • 确保数据的真实性与可追溯性
2. Wiki Layer (知识层)

核心沉淀层,包含主题、实体、关系和综合页面。

  • 生成主题页、概念页、实体页及对比页
  • 建立关联链接与引用网络
  • 具备冲突检测与 Lint 检查逻辑
3. Schema Layer (规则层)

定义约束与更新策略,规范 Wiki 的生成逻辑。

  • 定义结构模式与字段类型
  • 制定更新策略与检查逻辑
04工程落地与适用场景
尽管 LLM-Wiki 在跨文档综合和结构化表达上展现出优势,但实验表明,在单点事实查找、成本控制及严格 grounding 方面,它并不一定全面胜过传统 RAG。因此,未来的工程形态更可能是多种技术的融合。
理想的架构可能是:Raw Sources + RAG + Compiled Wiki + Provenance + Lint + Human Review。这种组合既能利用 RAG 的快速检索能力,又能借助 Wiki 的长期记忆优势。
维度RAG 适用场景LLM-Wiki 适用场景
核心能力找资料用知识
典型任务事实查找、条款查询研究笔记、项目文档、团队协作
应用目标快速定位原始信息复杂问题推理、Agent 长期记忆

不同技术范式的应用场景对比

评论

评论区空态插画

当前文章无评论,是时候发表评论了