什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

重排序一年花 1.3 万,省下 12.4 万:成本复盘

17:44

我们那个知识库问答,去年做了一次改造,加了两样东西:重排序、引用校验。

账单上多出来的是 1.3 万一年。省下来的是 12.4 万一年。

这两个数看着差距很大,但账不是这么简单对上的。这篇是一次完整的成本复盘,把每一笔摊开,你自己判断 ROI。

一、先看改了之后贵了多少

改造前,单次会话成本 0.0114 元。改造后 0.0172 元。涨了 50.6%。

图 1 一年下来:多花一万一,省下十二万四图 1 一年下来:多花一万一,省下十二万四图 1 一年下来:多花一万一,省下十二万四

拆开看,涨的那 0.0058 元里:

项目单次成本一年(180 万次)向量检索0.0026 元4,680 元重排序(20 条候选)0.0072 元12,960 元生成0.0088 元15,840 元引用校验(平均 3.2 条)0.0012 元2,160 元合计0.0172 元30,960 元

改造前的 0.0114 元是:检索 0.0026 + 生成 0.0088,合计 0.0114 元,一年 20,520 元。

所以差额是 30,960 − 20,520 = 10,440 元一年。

注意,重排序一年只花 12,960 元,引用校验只花 2,160 元。 这两个数加起来 15,120 元,但生成那部分也涨了——因为前 5 条片段从原来平均 900 token 涨到了 1,600 token,多的那部分是重排选出来的更完整的段落。

真正因为「加了重排」而多出来的,是 10,440 元。一万一左右,不是我一开始以为的「十几万」。

二、再看省了多少

省的部分不在模型账单上,在人身上。

改造前,用户拿到答案之后还要自己确认原文的比例是 44.2%。一个月 1,860 次人工查证,平均 3.4 分钟一次。

改造后降到每月 470 次,单次 1.6 分钟。

算一下:

  • 改造前:1,860 × 3.4 = 6,324 分钟/月 = 105.4 小时

  • 改造后:470 × 1.6 = 752 分钟/月 = 12.5 小时

  • 每月省 92.9 小时,一年省 1,114.8 小时

按 280 元一小时折算,一年省 312,144 元。

等一下,这个数比前面说的 12.4 万大太多。为什么?

因为 280 元一小时是我们算人力成本的内部口径,属于完整的人员工时成本。但节省下来的时间是碎片时间,一个人一天省 20 分钟,不等于他一年能多干两个月活。

所以这个数不能全额计入。我们最后用的口径是:把省下的时间按 40% 折算成实际产出,剩下的 60% 当作体验改善,不计入账。

312,144 × 40% = 124,858 元。这就是那个 12.4 万。

这个折算系数没有理论依据,是我们内部讨论定的。你们要做类似的账,系数怎么定可以自己商量,重要的是把口径写出来,别让人误以为一年真的省了三十万。

三、投入多少

改造不是白来的:

  • 开发:96 人时(四段拆分 32、重排接入 24、引用与校验 40)

  • 调试与评测:包含在上面

  • 年维护:84 人时(模型换了要重新评、库更新要重跑回归)

按 280 元一小时,投入 = (96 + 84) × 280 = 50,400 元。

四、最后三个数

  • 年支出增加:10,440 元

  • 年收益(折算后):124,858 元

  • 首年总投入(含开发维护):50,400 元

首年净收益 = 124,858 − 10,440 − 50,400 = 64,018 元。回本周期 5.3 个月。

第二年开始,只有维护成本 84 人时(23,520 元)和多出来的调用费(10,440 元),净收益约 90,898 元。

五、三个反直觉的地方

一,重排本身很便宜,贵的是它撑大的上下文。

很多人以为加了重排就要多付一大笔。实际上重排一次 0.0072 元,一年一万三。真正涨的是生成——因为排上来的段落更完整、更长。

如果只盯着重排的单价,你会得出「很便宜,随便加」的结论;但连上生成一起看,才知道每一分钱去哪了。

二,召回条数是个要算账的参数。

我们试过把召回从 20 提到 50。结果:

召回条数Recall@5重排单次成本年成本1081.2%0.0036 元6,480 元2086.3%0.0072 元12,960 元5087.7%0.0180 元32,400 元

图 2 召回条数往上调,重排年成本怎么涨图 2 召回条数往上调,重排年成本怎么涨图 2 召回条数往上调,重排年成本怎么涨

从 20 提到 50,Recall@5 只涨 1.4 个点,成本涨 1.5 倍。20 是个甜点,不是 50。

这里有个反直觉的细节:召回 10 条的 Recall@5 是 81.2%,跟召回 20 条差距 5.1 个点。这 5.1 个点很贵,但值得。从 20 到 50 那 1.4 个点,就不值了。

三,引用校验看着小,作用最大。

它一年只花 2,160 元,是所有新增项里最便宜的。但它把「引用了但对不上原文」的比例从 11.3% 压到 2.8%,这一项直接决定了用户敢不敢用。

如果不是做了这个,前面所有的钱都白花——因为用户还是得自己翻原文。

六、什么情况下别做

我现在给其他人建议的时候,会先问三个问题:

一,你的 20 条召回率是多少? 低于 85% 就别做重排,回去修切块。我们一开始是 74.6%,先修到 85% 以上才上的重排。

二,你的用户会追问依据吗? 如果这是个一次性问答的产品(比如客服机器人只回一句话),引用溯源的价值不高,做了也没人看。如果是对内知识库、对外的正式咨询,那它几乎是必需品。

三,你有多少人工复核? 如果你本来就没人在核对答案,那省下来的时间算不成钱。这笔账在我们这里成立,是因为复核本来就在流程里。

七、一句话总结

重排序一年 1.3 万,引用校验一年 0.2 万,这两笔都是小钱。真正贵的不是加了什么,是它撑大的那部分上下文。

而真正值钱的不是准确率涨了 9.8 个点,是人不用再翻原文了。

这两件事,账单上只看得见前者。


参考:重排和校验这两个模型走的是统一地址,词元云,换模型只改一个名字,成本按 token 结算,没有额外门槛。https://tokenfreeai.com

评论

评论区空态插画

当前文章无评论,是时候发表评论了