给客服机器人换一套「记性」，一年到底花了多少

家里装修讲究「看不见的地方最花钱」。软件也差不多。

我们给客服机器人换了一套多轮对话的会话状态记法，改造完回头看账单，钱其实不是花在模型上，是花在人上。

这篇把三个月的账摊开算一遍。如果你也在评估要不要做这件事，可以直接对着算自己家的数。

图 1　每月省 1,252 元、花 448 元，净省 804 元

一、先说省下来的那笔

改造前，每轮请求把全部聊天记录重新发给模型，平均一次 3,850 token。改造后是 1,240 token（结构化输出填槽位，再加滚动摘要）。上下文窗口小了，账单自然就下来了。这是 token 计费最直观的一次体现。

一次省 2,610 token。

我们的量级是每天 8,000 次咨询，按每百万 token 两元算：

• 一天：2,610 × 8,000 = 2,088 万 token

• 一个月：约 6.26 亿 token

• 折合：每月 1,252 元

一年一万五千块左右。听起来不少，但对一个每天八千次咨询的客服系统来说，这笔钱本来占成本的比例就很低。

所以「省 token」不是做这件事的理由。 真正的理由是准确率——同一批 300 通对话，关键信息答错从 46 通降到 4 通。

二、花的钱：三项一次性投入

第一项：抽取小模型（走结构化输出）

每轮要从客户的话里抽出那五个字段。我们用的是最便宜的模型，输入输出都很短，单次成本可以忽略。

粗算：平均每轮输入 120 token、输出 40 token，按每百万两元算，一次不到 0.001 元。各家大模型 API 的单价不同，量级差不多。每天 8,000 次咨询、平均 7.4 轮，一天约 5.9 万次抽取，折合每天约 6 元，一个月 180 元。

第二项：摘要生成

只对超过六轮的会话生成，大概占 23%。每份摘要输入约 1,600 token、输出 150 token，一次不到 0.004 元。

一天约 1,840 次长会话、按每三次生成一次算，折合每月约 68 元。

第三项：状态服务

一个独立的小服务，两个实例，加缓存。这部分是服务器成本，我们算每月 200 元。

三项加起来：180 + 68 + 200 = 每月 448 元。

对照上面省下来的一千二百多块，净省约八百元一个月。

三、真正的大头是人

钱的部分讲完了，下面是人力。

改造总共三个月。这不是提示词工程那种「改几句话就行」的活，是要动服务的，投入的人：

• 后端一位，约 60 人时（状态服务 + 抽取链路 + 合并逻辑）

• 前端一位，约 12 人时（客服后台看状态历史的入口）

• 业务侧的我，约 40 人时（定字段、写摘要标准、验收）

合计 112 人时。

按我们内部的折算口径，这笔投入相当于一个人全职两周多一点。这是整个项目真正的成本。

还有一笔隐性成本：上线第一周出过两次覆盖错误，排查加起来约 16 人时。这次之后才补上轮次号的单测。

四、三个月的账，合起来看

项目金额 / 投入节省的 token-1,252 元/月抽取模型+180 元/月摘要生成+68 元/月状态服务+200 元/月净节省-804 元/月一次性人力112 人时事故排查16 人时

一年净省约 9,650 元。按人时折算，这差不多是一个半月就回本。

但如果只看钱，这个项目不该做。因为一次客服答错的代价远不止那点 token——一位客户退款流程走错、货发出去再退回，物流加人工核销，我们内部算过一起大概 300 元。300 通对话里少错 42 通，只要能拦住其中几起真实事故，账就翻过来了。

五、值不值：三档判断

这类改造值得做： - 你的会话平均超过五轮 - 客户会在对话中途改主意，而且改主意有业务后果（退款、下单、改地址） - 你已经开始为重复发送历史付看得见的费用

可以先等等： - 大多数对话一两轮就结束（比如查物流、查余额） - 改主意的代价很小，错了再问一遍就行

不太值得： - 你还没做任何日志。改造的前提是能回放、能对比，没有日志就无从验证。

六、一个反常识的结论

做完之后我们发现，最贵的不是模型调用，也不是服务器，是业务侧那 40 个人时。

因为这 40 个人时里，大部分时间是花在「到底该记什么」的争论上，而不是看代码。

技术同事能做出一张表，但表里放哪五项，只有了解业务的人能定。定错了，后面所有优化都是在优化错误的方向。

所以如果让我给建议：先花半天把那张表想清楚，再动代码。 这半天是整个项目里回报最高的一段时间。

我们这套东西用的是词元云（tokenfreeai.com），换别家也一样，账单差异主要来自用量，不是来自方案。

省下来的钱不多，但少错的那几十通，是钱买不回来的。