46 万 vs 8.4 万：私有化这笔账我们算了三遍

公司要评估私有化部署，把账交给我算。

我以为是个简单的除法：买个机器多少钱，除以每年 API 花多少钱，几年回本。

算到第三遍才发现，这事儿没那么简单。前两遍都算错了，而且错在最不容易发现的地方。

这篇把三遍的账单都列出来，包括最后那个真正决定性的数字。

第一遍：只算硬件，算出了"三年回本"

最简单的算法：

• 硬件 46 万

• 现在每年 API 花 8.41 万

• 46 ÷ 8.41 = 5.5 年回本

看到这个数，第一反应是太久了，不如不折腾。

但这里有个错误：API 支出是会涨的，机器是一次性投入。

如果按每年业务涨 30% 算，API 支出第三年就到 14 万了。这样算下来大概 4 年能追平。

4 年，勉强能接受。

我拿着这个结论去汇报，被问了一句：电费算了吗？

没算。

第二遍：加上运行成本，回本变成"永不"

第二遍把运行成本加进来：

项目金额硬件（按 3 年折旧）153,333 / 年电费（3.0 kW 平均，0.7 元/度）18,396 / 年运维（0.3 人 × 28.8 万）86,400 / 年稳态年成本258,129部署一次性（240 人时 × 280 元）67,200首年总成本325,329

对比 API 年 84,096。

首年多花 24.12 万，稳态多花 17.40 万。

图 1　三年逐年：自建 84.16 万 vs API 25.23 万

不是回本的问题了。是每年要多花 17 万，永远追不平。

这一版结论是：不做。

但有人提了个问题：我们是不是把折旧算得太狠了？机器用 5 年不行吗？

这里顺便说清楚这轮评估的硬件构成，因为这是私有化部署成本里最大的一块，也是最容易被低估的：两台推理服务器，每台四张 24GB 显存卡；共享存储按 20TB 算；三年原厂维保；机柜和供电改造。两台是因为要留高可用，实际上单台的负载只有六成。

推理服务器这东西，贵的不是芯片，是配套。 存储、维保、机柜、电，加起来占了将近三成。

第三遍：改折旧，然后发现了真问题

第三遍把折旧改成 5 年，硬件年成本降到 9.2 万。

稳态变成：

• 硬件 92,000

• 电费 18,396

• 运维 86,400

• 合计 196,796

对比 API 84,096，每年多花 11.27 万。

还是贵，但没那么夸张了。而且如果 API 涨价或者业务量涨，差距会缩小。

不过折旧改成 5 年其实不太成立。我们做这个决定的时候问过机房的人，显卡这类硬件三年之后的故障率会明显上升，五年折旧意味着后两年要靠备件顶着。所以最后还是按三年算。

这里还有个容易被忽略的细节：私有化部署成本里，token 计费这一项其实是省下来的。 自建之后不再按 token 付钱，一年省掉 8.41 万的 token 计费，这是唯一的减项。但其他项——电费、维保、人力——全都是新增的，且不随用量下降。

于是我们开始算临界点。

临界点：日 3.68 万次

私有化成本基本是固定的（跟请求量无关），API 是线性的。

设日请求量为 R，单次 3,200 token，6 元/百万：

• API 年成本 = R × 3,200 × 365 × 6 ÷ 1,000,000 = R × 7.008

• 私有化稳态 = 258,129（按 3 年折旧）

令两者相等：

R = 36,834 次/日

如果按首年口径（含部署 6.72 万）：R = 46,423 次/日

日请求量API 年成本私有化稳态谁便宜10,00070,080258,129API，省 18.80 万20,000140,160258,129API，省 11.80 万36,834258,129258,129持平46,423325,314258,129（首年 325,329）首年持平60,000420,480258,129私有化，省 16.24 万80,000560,640258,129私有化，省 30.25 万

图 2　四档日请求量并排：日 3.68 万次是两条线的交点

我们现在的量是 12,000 次/日。距离临界点还有三倍。

但这不是最终结论

算完临界点，我以为可以交差了。

后来做技术验证的时候，顺手做了一次准确率对比。同一批 200 份合同，托管模型和本地 32B 各抽一遍，人工核对：

• 托管：96.4%

• 本地 32B 4bit：91.2%

• 差 5.2 个百分点

5.2 个点看起来很小。换算成人力：

624 次/日需要人工复核 × 40 秒 = 6.93 小时/日

一年 2,531 小时 × 280 元 = 708,587 元

这是 70.86 万。

上一节算的明账是"每年多花 17 万"，加上这一笔，实际是每年多花近 88 万。

到这一步，讨论就结束了。

折算成一句话

后来我给老板汇报，只讲了两句：

第一句： 私有化的硬件贵 24 万，这是明账。

第二句： 它准确率低 5.2 个点，折成人工是 70 万，这是暗账。暗账是明账的三倍。

第三句省略了，因为已经不用说了。

顺带说个数据来源的问题：那个 5.2 个百分点，不是拍脑袋估的。我们拿同一批 200 份真实合同，托管模型和本地部署的 32B 各抽一遍，然后人工逐条核对差异。这个对比花了大约 16 小时，但它是整个评估里最有价值的一段——因为它把一个模糊的"效果差不多"，变成了一个可以计算的"每天 624 次人工复核"。

如果你们也要做同样的评估，建议至少抽 150 份以上，并且覆盖不同的文档长度。我们第一轮只抽了 40 份，结论偏差很大，第二轮才把样本加到 200。

什么情况下这笔账才划算

反过来推：什么条件下私有化是理性的？

条件一：日请求量超过 3.7 万次。 低于这个量，稳态成本就是纯亏。

条件二：准确率不能掉。 如果自建模型能追平托管，暗账就消失了。这需要模型能力足够强，或者任务足够简单。

条件三：合规章节有明确要求。 这时候不是成本问题，是能不能做生意的问题。

三个条件至少满足两个，私有化才值得讨论。

我们只满足第三个的一半（客户条款可以用别的方案满足），所以最后没做。

补一个边界情况：如果你的业务量确实很小，比如日请求只有两三千次，那连讨论的必要都没有。私有化的固定成本摊到那么小的用量上，单次成本会贵十倍以上。这种量级，直接用 API 是唯一理性选择。

反过来，如果你日请求超过十万次，那账就完全反过来了。私有化稳态 25.8 万，API 一年的 token 计费就要 70 万，这时候自建不只是便宜，还是必须做的事。

一点补充：省钱的地方在哪

虽然没上私有化，但这轮评估不是白做的。

第一，我们把调用点收成了统一入口。 47 处散在各个服务的调用，变成一个入口，模型名在映射表里改一行。这件事跟私有化无关，但顺手做了，后面每次换模型都受益。

第二，我们知道了自己业务的临界点。 3.7 万次。等哪天业务真的涨到那个量，重新算一遍就行，不用再从零开始。

第三，我们搞清楚了"数据不出机房"这句话的真实含义。 客户要的是"不被拿去训练"，不是"物理隔离"。这个区别，省了 46 万。

第四，我们建立了自己的单位成本口径。 现在每接一个新的 AI 需求，都能算出它一年大概花多少钱、需要多少人工复核。这个口径比任何报价单都可靠。

附：完整账单速查

项目数值业务量日 12,000 次，单次 3,200 token年 token14,016 百万API 单价6 元/百万API 年成本84,096 元硬件460,000 元硬件年折旧（3 年）153,333 元电费年18,396 元运维年（0.3 人）86,400 元私有化稳态258,129 元部署一次性67,200 元私有化首年325,329 元首年差额+241,233 元稳态差额+174,033 元临界点（稳态）36,834 次/日临界点（首年）46,423 次/日准确率差5.2 个百分点复核成本708,587 元/年

参考

• 数字与同批 #225-#235 同源，统一口径：日 12,000 次 / 3,200 token / 6 元每百万 token。

• 完整评估过程见 #225《46 万买回来的一课》。

• 多模型统一入口可参考 tokenfreeai.com

自建之外的另一条路是把私有化部署的需求交给支持独占实例的服务，比如词元云，成本大概是 API 的 1.4 倍，比买机器便宜得多。