花 4.3 万迁一次模型,一年省 6.6 万:这笔账我们算了三遍
这篇不讲技术,只算这次模型迁移的账。
起因很简单:我们用的模型要下线了,换到新模型,单价从 8 元/百万 token 降到 6 元/百万。听起来是好事,但要先把迁移的钱花了。
财务问了我三个问题:花多少、省多少、多久回本。我把这三笔账算完,整理在这里。
一、先看账单本身:一年跑多少 token
我们这条链路是客服问答,推理成本一年大概 33,120 百万 token。
模型按 token 计费,按老模型 8 元/百万算:33,120 × 8 = 264,960 元,也就是 26.50 万。 按新模型 6 元/百万算:33,120 × 6 = 198,720 元,也就是 19.87 万。
一年省 66,240 元,6.62 万。
这个数字看着不错,但它是"迁移完成之后"才有的。迁移本身要花钱。
二、迁移要花的钱:152 人时,4.26 万
我们按人时算的,280 元/人时。总共 152 人时,分成四块:
环节人时金额调用点排查4813,440逐个适配5615,680双跑验证328,960灰度上线164,480合计15242,560
有一点值得单独说:排查占了将近三分之一。
我们一开始以为"改代码"是大头,估时 40 人时。实际光是把 47 个调用点找出来就花了 48 小时,比整个改代码的预估还多。
原因是我们有 11 处硬编码的模型名,散在工具脚本、测试用例、甚至一个 Excel 导入脚本里;还有 3 处是死代码,定时在跑,业务上早就没人管了。
这部分钱,是花在"搞清楚自己有什么"上,不是花在"换模型"上。
三、如果不做双跑,能省下 8,960 元吗
能省,但大概率会赔更多。
我们做过一次对照:假设不做双跑,直接切。按我们的调用量估算,切换后第一周会有一类请求解析失败,失败率从 1.2% 飙到 9.4%。
那次模拟的结果是:回滚用了 35 分钟,影响 2,100 单,事后重新验证又花了 96 人时,26,880 元。
对比一下:双跑花 8,960 元,事故花 26,880 元。省下的 8,960,赔进去的是 26,880,还搭上一次信任。
所以双跑这 32 小时,不是成本,是保险。
图 1 年 token 成本 264,960 → 198,720;首年净 23,680四、总账:首年净 2.37 万,第二年起纯省 6.62 万
项金额年省(单价 8 → 6 元)+66,240迁移投入(152 人时)−42,560首年净收益+23,680第二年起(无迁移投入)+66,240
首年赚 2.37 万,看著不多。但这里有个关键点:迁移投入是一次性的。
第二年开始,每年就是 6.62 万的纯节省。按三年算,总收益是 2.37 + 6.62 + 6.62 = 15.61 万。
五、还有一笔没算进表里的账
上面这些算的都是"这次迁移"。
但我们在迁移的时候多做了一件事:把 47 个调用点收敛成了一个统一入口。多花了大约 20 人时,5,600 元。
这笔钱当时不在预算里,我犹豫过。现在看来是最值的一笔:
这次迁移花了 152 人时;如果两年前就收敛,这次大概只要 40 人时,省 3 万多。
下次模型再下线,只要 8 人时,2,240 元——因为只需改一张映射表。
这次多花的 5,600 元,买的是"下次只要 2,240 元而不是 42,560 元"。
模型下线的频率在变快。两年前能跑两年的模型,现在可能一年半就换代。按这个节奏,三年内大概率会遇到第二次。那这笔收敛的投入,光算第二次迁移就回本了。
六、什么情况下这笔账不划算
不是所有团队都该做迁移。有两种情况我建议先别急:
第一,调用量太小。 如果你的年 token 消耗不到 5,000 百万,年省的钱可能不到 1 万,而迁移投入按同样的人力算要 4 万多,回本要四五年。这种情况不如先扛到停服前,用最简方式切过去。
第二,没有双跑环境。 如果验证成本被压到极低,事故风险就会升高。省下来的验证钱,会以事故的形式还回去。
我们这次能做,是因为调用量够大(33,120 百万/年)、团队有能力做双跑。两个条件少一个,这笔账就要重算。
七、最后
算完这三遍账,我给财务的答复是三行:
花 4.26 万,一年省 6.62 万,首年净赚 2.37 万,第二年起纯省。
财务那边回了一句:那你们早点做啊。
唯一没法提前做的是那封公告。 它不来,没人会主动换一个正在正常工作的模型。但这不代表不能提前准备——比如把调用点收敛掉,那件事跟公告没关系,随时可以做。
我们现在所有调用都走词元云这一个统一的大模型 API 入口,模型名在映射表里,将来换模型就是改一行配置的事。
