用Obsidian打造LLM-Wiki经验分享
在利用 Claude Code 辅助数据分析的过程中,业务口径与字段含义的缺失常导致生成的分析脚本不可用。为了解决这一痛点,构建一套结构化的知识库系统成为必然选择。该系统旨在通过标准化沉淀表结构、业务口径及 SQL 示例,让 LLM 能够准确理解业务背景,从而有效承接数据分析工作。经过对 Karpathy 的 LLM Wiki 逻辑的借鉴与改造,目前已在 Obsidian 中搭建起一套包含分层管理、自动化同步及 Agent 接入的完整知识体系。
01系统架构与分层逻辑
整个系统采用分层架构设计,明确了原始材料、正式知识与任务产物的边界。本地 Obsidian 作为核心操作平台,通过 Git 插件与远程 GitLab 仓库保持同步,确保数据的一致性与可追溯性。数据流向从多源收集开始,经过本地整理后,分为 raw(原始材料)和 wiki(正式知识)两层存储,最终供各类 Bot 或 Agent 消费使用。
知识库分层定位
原始材料存储
包含业务文档、代码记录、技术论文等未加工信息
数据来源包括公司内部文档、SQL平台、微信、知乎、arXiv
作为知识库的输入源头,数据量大但较为嘈杂


正式知识沉淀
经过人工或 Agent 整理、清洗后的结构化内容
包含统一的笔记属性、标准格式及明确的业务结论
Agent 主要读取该层内容,以降低 Token 消耗并提高准确性
02核心插件配置与治理
- Git 插件
负责本地与远程 GitLab 仓库的定时 pull 和 push,实现知识库的平滑同步。 - Dataview 插件
构建自动看板,通过扫描 raw/ 和 wiki/ 目录,利用 source 和 source_sync_time 属性监控处理进度、积压情况及内容时效性。 - 模板插件
为不同类型的笔记(如 concept、sql、paper)提供统一骨架,确保格式一致,降低人工与 Agent 的阅读成本。 - Copilot 类插件
辅助本地整理工作,用于快速改写、补全或局部处理,提升编辑效率。
为了保障系统的可维护性,每篇笔记均需配置标准化的笔记属性,如 source、type、status、summary 等。这些“工程化”字段解决了内容溯源、状态追踪及 Agent 高效读取的问题。特别是在 summary 和关联知识章节的设计上,采用了“渐进展开”策略,即先提供决策所需的关键摘要,再通过双链引导深入阅读,优化了 Token 的使用效率。
03知识整理与自动化流程
知识整理过程强调“可控”而非完全“自动”。Claude Code 被配置了特定的技能集,辅助完成知识归并、冲突检测及健康检查。核心逻辑在于判断新内容应并入现有笔记还是新建笔记,并识别新旧知识间的冲突。健康检查环节则侧重于清理过期或错误信息,防止垃圾数据在知识库中积累。
整理策略对比
自动化生成
追求全流程无人干预
- 依赖图谱自动生成技术(如 Graphify)
- 可能积累垃圾数据,难以保证知识质量
- 对 LLM 当前能力要求较高
人机协同整理
当前实践采用的策略
- Agent 负责初步处理与标准化
- 人工负责最终审核、归并及复杂判断
- 保证知识库的准确性与逻辑性
04Agent 接入与应用场景
知识库的消费侧主要对接三类 Bot:论文 Bot 负责每日扫描并录入新文献;编程 Bot 处理 CTR 预估相关的编程任务,但明确区分了聊天与代码执行边界;任务提交 Bot 则依赖流程经验与排障记录执行训练任务。在接入方式上,Agent 被设计为优先读取 Wiki 层,仅回溯 Raw 层进行必要补充,通过明确的 Skill 规则引导其沿着 Wikilink 进行渐进式阅读,而非暴力检索所有原始材料。
05实践经验与总结
- 不可忽视的人工参与
知识库的维护离不开人的定期 Review 与更新,尤其是业务知识的提炼,考验整理者的核心能力,难以完全自动化替代。 - Token 成本优化
整理过程消耗大量 Token,需持续优化整理 Skill,剔除无价值内容,避免将所有信息直接纳入正式知识层。 - 遵循技术演化规律
系统设计应顺应 Agent 的进化趋势,保留核心底层逻辑(如 Markdown 结构),避免构建过于复杂的工程化系统,以免被未来的 LLM 能力直接覆盖。 - 持续维护 Skill 设计
不仅要维护知识库本身,还需不断优化 Agent 读取知识的方式,确保其能准确理解并沿着关联知识路径深入探索。
当前文章无评论,是时候发表评论了