什么值得买App下载 App ›
连续签到专享现金活动

用Obsidian打造LLM-Wiki经验分享

在利用 Claude Code 辅助数据分析的过程中,业务口径与字段含义的缺失常导致生成的分析脚本不可用。为了解决这一痛点,构建一套结构化的知识库系统成为必然选择。该系统旨在通过标准化沉淀表结构、业务口径及 SQL 示例,让 LLM 能够准确理解业务背景,从而有效承接数据分析工作。经过对 Karpathy 的 LLM Wiki 逻辑的借鉴与改造,目前已在 Obsidian 中搭建起一套包含分层管理、自动化同步及 Agent 接入的完整知识体系。
01系统架构与分层逻辑
整个系统采用分层架构设计,明确了原始材料、正式知识与任务产物的边界。本地 Obsidian 作为核心操作平台,通过 Git 插件与远程 GitLab 仓库保持同步,确保数据的一致性与可追溯性。数据流向从多源收集开始,经过本地整理后,分为 raw(原始材料)和 wiki(正式知识)两层存储,最终供各类 Bot 或 Agent 消费使用。

知识库分层定位

原始材料存储
  • 包含业务文档、代码记录、技术论文等未加工信息

  • 数据来源包括公司内部文档、SQL平台、微信、知乎、arXiv

  • 作为知识库的输入源头,数据量大但较为嘈杂

正式知识沉淀
  • 经过人工或 Agent 整理、清洗后的结构化内容

  • 包含统一的笔记属性、标准格式及明确的业务结论

  • Agent 主要读取该层内容,以降低 Token 消耗并提高准确性

02核心插件配置与治理
  • Git 插件
    负责本地与远程 GitLab 仓库的定时 pull 和 push,实现知识库的平滑同步。
  • Dataview 插件
    构建自动看板,通过扫描 raw/ 和 wiki/ 目录,利用 source 和 source_sync_time 属性监控处理进度、积压情况及内容时效性。
  • 模板插件
    为不同类型的笔记(如 concept、sql、paper)提供统一骨架,确保格式一致,降低人工与 Agent 的阅读成本。
  • Copilot 类插件
    辅助本地整理工作,用于快速改写、补全或局部处理,提升编辑效率。
为了保障系统的可维护性,每篇笔记均需配置标准化的笔记属性,如 source、type、status、summary 等。这些“工程化”字段解决了内容溯源、状态追踪及 Agent 高效读取的问题。特别是在 summary 和关联知识章节的设计上,采用了“渐进展开”策略,即先提供决策所需的关键摘要,再通过双链引导深入阅读,优化了 Token 的使用效率。
03知识整理与自动化流程
知识整理过程强调“可控”而非完全“自动”。Claude Code 被配置了特定的技能集,辅助完成知识归并、冲突检测及健康检查。核心逻辑在于判断新内容应并入现有笔记还是新建笔记,并识别新旧知识间的冲突。健康检查环节则侧重于清理过期或错误信息,防止垃圾数据在知识库中积累。

整理策略对比

自动化生成

追求全流程无人干预

  • 依赖图谱自动生成技术(如 Graphify)
  • 可能积累垃圾数据,难以保证知识质量
  • 对 LLM 当前能力要求较高
人机协同整理

当前实践采用的策略

  • Agent 负责初步处理与标准化
  • 人工负责最终审核、归并及复杂判断
  • 保证知识库的准确性与逻辑性
04Agent 接入与应用场景
知识库的消费侧主要对接三类 Bot:论文 Bot 负责每日扫描并录入新文献;编程 Bot 处理 CTR 预估相关的编程任务,但明确区分了聊天与代码执行边界;任务提交 Bot 则依赖流程经验与排障记录执行训练任务。在接入方式上,Agent 被设计为优先读取 Wiki 层,仅回溯 Raw 层进行必要补充,通过明确的 Skill 规则引导其沿着 Wikilink 进行渐进式阅读,而非暴力检索所有原始材料。
05实践经验与总结
  1. 不可忽视的人工参与
    知识库的维护离不开人的定期 Review 与更新,尤其是业务知识的提炼,考验整理者的核心能力,难以完全自动化替代。
  2. Token 成本优化
    整理过程消耗大量 Token,需持续优化整理 Skill,剔除无价值内容,避免将所有信息直接纳入正式知识层。
  3. 遵循技术演化规律
    系统设计应顺应 Agent 的进化趋势,保留核心底层逻辑(如 Markdown 结构),避免构建过于复杂的工程化系统,以免被未来的 LLM 能力直接覆盖。
  4. 持续维护 Skill 设计
    不仅要维护知识库本身,还需不断优化 Agent 读取知识的方式,确保其能准确理解并沿着关联知识路径深入探索。

评论

评论区空态插画

当前文章无评论,是时候发表评论了