今年双11,不少人把预算砸在内存和显卡上,就为了在家里跑起一个不用看Token余额的大模型。机器点亮了,Ollama一开,聊了两天,很多人发现同一个结局:熟的东西它答得含糊,生的东西它答得笃定,最后模型挂在后台吃灰。
原因并不玄学:本地模型要真干活,得把你自己的文档喂进去。这一层就是这两年刷屏的RAG知识库。而恰恰是这一层,社区讨论正在发生一次明显的换题——从"怎么装"换成"怎么翻车"。
换题的信号,集中在这四天
把几个平台摊开看,这个换题不是感觉,是能数出来的:
小红书"本地部署 知识库"的收藏榜上,教程帖依然巨量吸藏——Claude Code搭知识库那篇赞1.29万、收藏2.27万——但评论区的问题变了:不再是"第三步怎么点",而是"对本地的硬件有啥要求?"“请问一定要本地部署吗,API可以这样操作吗?”“出现这个报错是为什么啊”。最高赞11楼的质疑甚至直接掀桌:"有啥用?这个功能对哪类人群有意义?"还有一条"如果只是要做知识库,不如直接用云端的,简单够用"也安安静静挂在那里。小红书
知乎用"RAG 知识库"检索近一个月的结果,返回的20篇全部写于10月8日到10月11日这四天窗口,标题一个比一个直白:《企业知识库(RAG)到底有用吗,为什么一上来就做容易翻车?》《RAG没死,它被降级了》《做RAG不评测,等于闭着眼睛调参》《一个人、零预算,我把公司知识库做成了会引用来源的RAG系统》。科普帖几乎不见了,清一色是复盘。知乎
B站的"本地大模型部署系列"拍到第6集,集名就叫《模型答非所问怎么办?先定位,再改动》——装机教程区已经细分出"治答非所问"这个分支了。哔哩哔哩
一句话:上一轮热点是"把模型装起来",这一轮是"让它干活"。而对刚装完机的人来说,先把冷水泼清楚——最常见的翻车,跟你的显存、量化、卡力一点关系都没有。
翻车三道坎:第一道,它不是答错,是读了旧文档
企业知识库的复盘里被讲得最多的一个事故样本:公司三月份把差旅报销上限从800元调到1200元,新制度也重新上传了,员工问"住宿报销上限多少",AI张口还是800——旧制度的切片还留在索引里,而且跟这个问题的语义距离更近。信一次、错一次,之后全公司没人再用它。知乎

这里有个反直觉的点值得所有装机人记住:搜索引擎找不到会说"找不到",但RAG不会——它会把几份互相矛盾的材料,用一段读起来很顺的话拼成看着合理的答案。报错会有人去查,一个说得顺的错误答案会被直接拿去用。知乎
判断脏数据是否已经进库,看三个信号:同一个问题问两次答案自相矛盾;引用的是三年前作废的版本;事实明显错了但语气特别笃定。中任何一个,先别调参,先清库。知乎
对策不是任何算法,是入库前的四件土办法:作废(过期文档显式标记)、定版(同一内容只留最新一版)、打标(带生效日期和归属人)、定责任人。给个人的等价动作是:建库前单留一段"资料整理"时间,别跟开发并行——并行等于没有。
一个零预算自建的实战复盘(给美妆公司做本地知识库)还把坑挖到了更细的颗粒度:每张资料开头那句"本文件用于……“因为字少,会在检索里抢第一名,把真有答案的卡片挤到第二;几十行的价格表被按字数切成两半,剩下半截只有"1000以上900”,谁也看不出是哪个版本。切片不能按字数硬切,表格不能撕成半截——这两条在小红书那些"3分钟搭建"教程里基本没人讲。知乎
第二道坎:权限做在了错误的层
"门店导购不该看到折扣档位表和渠道政策,这跟’他问不问得到’是两件事。“翻车复盘里最贵的一条教训是:把敏感文档全量入库、只在界面上勾"可见范围”,等于没有权限。原因很简单——信息已经被检索出来、进了模型的上下文,你在输出那一刻擦掉可见部分,模型该知道的已经知道了。正确做法是让没权限的文档从一开始就不进候选集。知乎知乎

验证你选的任何工具,就问一句话:"你们怎么在检索阶段阻止无权限文档进入上下文?“对方如果答"生成之后会过滤敏感词”,直接换。这条对个人看似用不上,但你那份没打算公开的合同、体检报告、记账表一旦进了库,问法换了个说法就被模型"复述"出来,是同一回事。知乎
第三道坎:闭着眼睛调参
加了Rerank、换了Embedding、上了Query Rewrite,折腾一整天,最后说不清到底有没有变好——这是复盘里出现频率最高的自白。解法便宜到离谱:先攒一份考卷,再碰技术栈。把你会真问的三五十个问题列出来,每题写上正确答案和"出自哪份文件第几页",并故意放几道"库里根本没有答案"的题——它们才是最容易出事故的题(问明年报价,翻出来全是今年那张表,顺手答错的概率接近百分之百)。改完跑一遍考卷,才知道是变好还是变坏。那位美妆公司自建者的原话是:别问"AI能不能做",先问"我能不能判断它答对了"。知乎

顺带一个被反复验证的检索结论:员工问"这设备老报警怎么办",文档里写的是"异常告警处置流程"——字面零重合。所以关键词检索和向量检索的双路混合,加上重排,是第一天就要在链路里的,不是后期优化项。精确编号、型号、订单号这类问题,只走向量几乎必错。Squirro的行业报告口径:混合检索是今年增长最快的企业架构,约三分之一的团队把它列为首选。知乎知乎

反证也要给:不是谁都需要本地知识库
社区里"要不要本地"的分歧是真实存在的,而且不该替你回答。“长上下文要取代RAG"吵了一整年,稳的那部分结论其实是个分工:长上下文解决"一次能读多少”,检索解决"该读哪一段"——把几十万字一次性塞进上下文,既不便宜也不可靠。所谓"迷失在中间",正是公开研究反复验证过的衰减。知乎
今年真正的变化是朴素RAG被降级:从一套架构,降级成智能体手里的一个工具,LangGraph 1.0、LlamaIndex Workflows这些编排框架今年收敛出了同一套原语。知乎
翻译成人话就是三种人:
资料就几十篇、几乎不更新、没有出机敏感性的——云端工具确实"简单够用",小红书评论区那句抬杠是对的,别为了仪式感折腾本地。
文档量大、更新频繁、或者压根不能让资料离开自己电脑的(合同、病历、内部制度、创作存稿)——本地知识库是目前唯一解,这轮翻车坎你一个都绕不过。
已经在纠结选哪套开源栈的——往下看档位表。
装机后的工具栈:六款开源产品,一张档位表
开源圈今年的选型讨论沉淀出一套"六款产品"矩阵,技术栈差异大到可以直接当分层教材用:RAGFlow是Python加自研DeepDoc解析器(92%的中文文档解析准确率、20+格式,代价是镜像资源开销高达19GB——这是唯一一个把文档解析成本明码标价的产品);Dify是Python微服务、可视化编排;FastGPT是Next.js+MongoDB;WeKnora用Go重写了检索层高并发;MaxKB是Django+pgvector;AnythingLLM是Node.js本地优先。把六款抽象到架构层,收敛出来的分层骨架几乎完全一致——RAG不是一个算法,是一条十几个环节的工程链路,分层不是谁的偏好,是内在规律。知乎
按人给档位:
个人单机档:AnythingLLM这类本地优先打包件,配Ollama,旧笔记本就能跑,先解决"有没有"。
小公司零预算档:RAGFlow(吃透扫描件和表格)或Dify(吃流程编排)。那位美妆自建的算账结论值得贴在机箱上:模型调用是最便宜的一环,一次性费用个位数人民币量级、一次问答几分钱以下——真实成本全在人身上。知乎
企业多角色档:FastGPT/MaxKB/WeKnora级别,重点不再是检索,是治理——版本、生效期、责任人三件没做,后面全白搭。

动手前四条、验收三条
动手前自问:①有没有考卷?②版本/生效期/责任人三个标签第一天贴没贴?③你的资料里有没有中文双栏PDF、扫描图和合并单元格表格——解析层决定上限,垃圾进垃圾出;④再问一遍云端是不是就够了。
验收只看三条硬线,缺任何一条都还只是演示:一句自然语言能问出唯一答案;这个答案带得出可核对的出处;问不出提问者没有权限看的东西。知乎

接下来盯什么
装机帖还在刷屏,但B站"答非所问怎么治"已经单独成集——下一波热点大概率是本地RAG的排错内容,收藏比装机教程更值钱;
知乎"怎么才能让大模型的RAG迅速落地"这类问题刚挂到前台,工具链从"能跑"到"能上线"的中间态(权限、评估闭环)是当前所有开源产品的分水岭;
垂直领域的本地化刚开始冒头:今天阿里达摩院刚开源了发在《Science》上的腹部CT诊断模型RADAR,已经能在工作台里一键本地部署——通用模型之后,行业模型的"私有化"门票也在变便宜,有医疗背景读者的可以留意这条线。知乎
模型装好只是门票。这一轮值得投入的不是第二张显卡,是那几十篇被你整理过、贴好标签、配得上一份考卷的文档。