什么值得买App下载 App ›
连续签到专享现金活动

告别传统RAG:用“上下文工程”构建百万Token大模型知识库

随着大模型支持超过100万Token的超长上下文,传统的检索增强生成(RAG)在个人和小团队场景下逐渐显露出局限性。不再需要每次都让AI重新去海量文档里检索,而是通过系统性的信息组织,让知识真正“长”在模型中。前OpenAI联合创始人Andrej Karpathy提出的“上下文工程”概念,以及基于此建立的LLM Wiki架构,为构建高效的个人知识操作系统提供了新的思路。
01核心概念:从提示词工程到上下文工程

AI交互模式演变

提示词工程

传统的交互模式,侧重于单次指令的精确性。

  • 类比:去咖啡店绞尽脑汁向咖啡师描述想要什么比例的拿铁。
  • 特点:每次都需要重新输入指令,教模型怎么做。
  • 局限:信息不持久,无法处理复杂的长尾依赖关系。
上下文工程

前沿的系统架构,侧重于构建让模型自主理解的环境。

  • 类比:为咖啡师设计一个完美的厨房,工具和原料齐全,自然能高效完成任务。
  • 核心:将AI视为编译器,而非单纯的对话机器人。
  • 优势:通过环境中的规则和数据,实现知识的动态流转与复用。
如果不进行上下文管理,AI容易出现四种失效症状:胡言乱语、被无关文本带偏方向、逻辑断裂以及遗忘关键信息。上下文工程通过四个核心动作来解决这些问题:写入、选择、压缩和隔离。这实际上是一套信息负载的优化系统,旨在过滤和组织信息,确保模型在处理海量数据时保持高效和准确。
02落地架构:LLM Wiki三文件夹结构
  • RAW(原始资料)
    作为“不可变真相源”,人类将所有未经处理的原始资料、PDF、网页等内容直接投入此文件夹,保证数据的绝对安全和原始性。
  • SCHEMA(规则定义)
    存放以Markdown格式编写的规则文件(如CLLDMD),定义遇到新概念、冲突或特定数据时的处理逻辑,指导大模型进行编译。
  • Wiki(编译产物)
    大模型根据SCHEMA中的规则,自动将RAW文件夹中的资料消化、提炼,最终生成的结构化维基百科内容存储于此。
在该架构中,人类角色从“写作者”转变为“导演”,仅负责指明方向;大模型则充当“不知疲倦的编译器”。为了维持系统的运转,大模型还会自动维护全局地图(Index)和工作日志(Log),记录知识点的关联及每次的处理过程。
03运转机制:六阶段流水线与分块策略
  • 2025年09月16日
  • 2025年09月16日
  • 2025年09月16日
  • 查看全部进展
要支持这套流水线高效运转,底层的关键技术在于“分块策略”。简单的按字数一刀切会切断关键的上下文,导致逻辑断裂。高级的架构师通常采用更智能的策略:
策略名称工作原理适用场景
基础分块按固定字数或字符数进行机械切割。结构简单的短文本,处理速度快。
延迟分块先通读全文建立全局理解,再根据语义进行细节切分。复杂的法律合同、长篇小说,保持逻辑连贯。
智能体分块由AI模型自主判断文档的结构与逻辑节点进行切分。非标准化文档,需要高度语义理解的场景。

三种分块策略对比

04应用场景与工具链
基于编译的知识库模式相比传统RAG,最大的优势在于知识的固化与复用。传统RAG每次查询都需要重新检索,而Wiki模式将知识固化在上下文中,避免了检索损失,并能利用百万Token的上下文窗口一次性加载所有相关信息。
  1. 科研与深度阅读
    将大量论文投入系统,AI自动提取核心概念并串联不同文章中关于同一主题的观点,构建随时可调用的知识宇宙。
  2. 商业情报分析
    收集沉睡的会议记录、聊天记录及竞争对手新闻,AI自动生成内部Wiki并拼凑出对手的完整产品路线图。
实现这套个人知识操作系统并不需要昂贵的企业级软件。推荐的技术栈包括:使用Obsidian作为可视化前端,Clipper用于抓取网页内容,QMD负责本地搜索,Git用于知识库的版本控制。这种极简的工具组合能够支撑起强大的知识编译与管理能力。

评论

评论区空态插画

当前文章无评论,是时候发表评论了