7
18
一年两张账单：微调 19.6 万，RAG 8.5 万，差的十一万到底花在哪
2026-11-11 14:26:36
0点赞
0收藏
0评论
这篇是纯算账。
去年我们做了一次技术选型，为了不拍脑袋，两条路各建了一套，用同一批数据跑了三个月。跑完把账算下来，一年差十一万。
钱不多，但差在哪儿挺有意思——差的地方和所有人一开始猜的都不一样。
一、先给基本盘
不交代清楚这个，后面所有数字都没意义。
知识库：4,200 篇文档，拆成 1.8 万条问答对
业务量：日均 6,000 次咨询，月 18 万次，年 216 万次，全部走大模型 API
平均输出：320 个 token
单价：统一按 2 元/百万 token 算（token 计费，用多少算多少，不预付）
人力：280 元/人时（含社保等成本，不是到手工资）
二、单次成本：微调赢四倍，这是所有人的第一反应
纯 RAG纯微调系统提示300300检索结果（5 段）2,1000用户问题8080输出320320单次合计2,800700单次费用0.0056 元0.0028 元
微调便宜一半，按 token 量算是四分之一。
到这里，绝大多数人的结论是：微调省钱。
我们的同事也是这么算的，还专门做了张图贴在会议室。
这张图是对的，但它只说了故事的三分之一。
三、推理成本：一年差 6,048 元
按 216 万次算：
纯 RAG：216 万 × 0.0056 = 12,096 元/年
纯微调：216 万 × 0.0028 = 6,048 元/年
一年差 6,048 元。
一个月差 504 块。这点钱，在任何一个公司的年度预算里都不是一个数量级的问题。
如果你只看到这一层，会觉得这两条路成本差不多，怎么选都行。
四、一次性投入：差 5.2 万
纯 RAG：72 人时 = 20,160 元
纯微调：标注 9,000 + 训练 400 + 224 人时 = 72,120 元
微调的一次性投入是 RAG 的 3.6 倍。
贵在哪儿？
贵在「把知识整理成能训练的形式」。 RAG 只要切段、入库，人要做的判断不多。微调要把每一条整理成「问题 → 标准答案」的指令格式，还要保证答案是对的、格式是统一的、覆盖是完整的。
我们那 1.8 万条问答对，整理出 224 个工时，大部分时间花在「这条答案对不对」的核对上。
这笔钱是一次性的，看起来还能接受。真正的问题在下一项。
图 1 微调一年成本构成：维护占 60%五、维护成本：这里才开始扎心
这是所有人都漏算的一项。
RAG 的维护： 知识更新时，把新文档切段入库。我们的操作是 15 人时/次，一年 12 次 = 180 人时 = 50,400 元/年。
微调的维护： 每次知识更新都要重训。35 人时/次，一年 12 次 = 420 人时 = 117,600 元/年。
差 67,200 元。
而且这 12 次还是保守的算法，按每月重训一次。我们实际一年改了 31 次政策。
真实的重训人力是 31 × 35 = 1,085 人时 = 303,800 元。
一年三十万的人力，投在一个客服机器人上。
六、总账：一年差十一万
项目纯 RAG纯微调一次性建设20,16072,120推理（年）12,0966,048服务器 / 存储（年）2,4000知识维护（年，12 次）50,400117,600一年合计85,056195,768
差 110,712 元。
注意构成：
推理成本：微调省 6,048
一次性投入：微调多花 51,960
维护成本：微调多花 67,200
微调省下的那 6,048 元，在两个更大的数字面前几乎看不见。
这就是为什么「按 token 单价算」会得出完全相反的结论。
图 2 一年知识变更次数：拐点在 0.7 次七、拐点：知识一年改一次，就翻盘
我们把公式写下来：
微调年成本 = 72,120（建设）+ 6,048（推理）+ 9,800 × 重训次数
RAG 年成本 = 85,056
让两者相等：
9,800 × n = 85,056 - 72,120 - 6,048 = 6,888 n ≈ 0.7
结论：一年重训次数超过 0.7 次（也就是基本每年会改一次），RAG 就更便宜。
这个数字比我们预期的低很多。原本以为分水岭会在一月一次左右。
八、但也不能一刀切成「都别微调」
有一类场景，微调确实是划算的。
知识完全静态的场景。
比如固定的分类任务（这段话属于哪个类别）、固定的字段抽取（从这段文本里取出金额和日期）、固定的格式转换。这类任务的「知识」就是规则本身，三年都不会变。
这种场景下，微调训一次，用三年，每次调用只要 700 token。RAG 没有优势。
我们的判断标准是：
知识变更频率建议一年不到 1 次微调一年 1-6 次算一下，可能混合更划算一年 6 次以上RAG
我们一年 31 次，落在最后一行。
九、我们实际的方案，以及它值不值
我们最后做的不是纯 RAG，是混合：
知识全走检索
训一个 1.5B 小模型，只管分类和回复格式
一年 108,844 元。
项目纯 RAG纯微调混合一次性20,16072,12038,920每月5,40810,3045,827一年85,056195,768108,844答对率85.3%74.4%88.6%格式合规71.2%96.8%97.1%更新后 48 小时84.9%61.2%86.4%
比纯 RAG 多花 23,788 元/年。
值不值？我们的算法是这样的：格式合规从 71.2% 到 97.1%，每月少转人工约 1,900 次。一次转人工 12 分钟，按 80 元/时算是 16 元。一个月省 30,400 元。
多花 2 万，一个月赚回 3 万。这笔账没什么好犹豫的。
十、五条能直接用的结论
第一，别按单次 token 算账。 微调单价便宜一半，年成本贵一倍多，这是常态。
第二，一次性投入不是重点，维护才是。 我们的账里，维护占了微调总成本的 60%。
第三，先数清楚知识一年改几次。 这个数字决定一切。一年不到一次的，微调；一年十次以上的，别碰。
第四，混合方案通常是性价比最高的。 但前提是分清楚「什么该训、什么该查」，别一股脑全塞进去。
第五，评测集的钱别省。 我们 12,000 条工单、三个人标了两周。这笔投入没有出现在上面的任何一张表里，但它是所有数字的前提。
最后提一句对账的事：我们两条路线的推理请求都走词元云这类统一入口，跑评测的时候能按版本、按模型拉对比，不用在两个后台之间拼数据。这类统一入口的选择不重要，能不能把账放到一个地方才重要。
