蒸馏争议背后:成本差会变小,但你的账单未必

源自18位全网作者

13:03

英国金融科技公司 Revolut 的工程师,一度每月在 AI 编程上花掉 1 万美元。其运维与基础设施负责人 David Abitbol 后来复盘:把编程主力换成自托管的 GLM-5.1 后,推理支出降到原来的约十分之一,输入输出综合成本约每百万 token 0.30 美元。 但为了接住约 2000 名工程师的规模化调用,Revolut 升级到 GLM-5.3 后最终部署了 56 张 B200,还要自己做量化、缓存和推理调度。省下的 API 账单,得先覆盖这些。CSDN

这就是“开源和闭源的成本差”最常被讲错的地方。蒸馏争议问的是能力从哪来,成本差问的是能力用一次要多少钱。两件事混在一起,结论就会变形。

先把答案放在这里:标价差会继续缩小,单位任务成本差却不会自动缩小。对高利用率的玩家,开源可以便宜一个数量级;对大多数公司,API 仍然更便宜。

先看标价。DeepSeek 在 V4.1 Flash-1017 的发布里,第一次自己画了一条“性能—成本”帕累托曲线,称单位任务综合成本只有 Fable、Astra 等模型的百分之一到二十分之一,性价比高出四五十倍。 问题是,这条曲线由厂商自己定义任务集和推理档位,而且拿 Flash 去比别人的旗舰,档位并不相同。它能说明 DeepSeek 在变便宜,还不能证明“同等能力便宜五十倍”。硅碳变量

真正把成本打下来的,也不只是模型。10 月 20 日,DeepSeek 把生产环境的推理框架 DeepInfer 和 token 编解码组件开源了:单集群一天约 155 万亿 token,同时支持英伟达 SM100 和华为昇腾 950。 推理调度、KV 缓存和硬件适配,这些过去藏在 API 溢价里的东西,被摆到了台面上。这轮降本的主角,正在从“模型是不是蒸的”变成“推理栈是不是自己的”。每日资本论

但单价便宜,不等于完成任务的成本便宜。Kimi K3.1 Pro 把输入价从每百万 token 20 元降到 13 元,输出从 100 元降到 68 元,降了约三分之一;可它在同一套智能指数测试里累计输出约 1.5 亿 token,比参与测试模型的中位数高出 72%。 单价降了,完成同一件事的 token 变多了,账单可能原地踏步。单价是标价,token 消耗才是账单。Tech星球

闭源也没有停在原地。OpenAI 官方文档说,提示词缓存最高能把输入 token 成本降九成。 据外媒报道,它 6 月发布的 Jalapeño 推理芯片能把服务成本砍掉约一半。Anthropic 9 月底对新 API 账户修改 Messages API、锁住“思考块”防蒸馏,官方文档里还写了一个副作用:保持思考块一致,能更频繁地命中提示词缓存,从而降低成本和响应时间。 反蒸馏和降本,出现在同一份文档里。字母AIAnthropic

另一头,闭源正在把账算得更细。OpenAI 帮助中心的新文档说,从 12 月起,ChatGPT 和 Codex 的额度合并,按 token 计量,不再按消息条数。 过去那种“无限提问”,本质上是平台替你消化成本;现在成本被挪回用户的感知里。闭源的订阅价,未必会像模型单价那样一路向下。机器之心

所以,真正决定成本差的,不是“开源还是闭源”这四个字,而是利用率。一套公开的五维成本测算给出的盈亏平衡点约为 52% 的 GPU 利用率,95% 置信区间是 48% 到 56%。 低于这条线,自建比 API 贵;高于这条线,自建才开始省钱。70B 以下,API 通常比自建便宜两到五成;700B 级模型则没有对等 API,只能自建。大多数创业公司的利用率在 30% 到 50% 之间,恰好落在“自建更贵”的那一侧。中国电价加国产 GPU 能把临界点降到约 38%,但前提仍然是你有稳定的调用量。AI前线

开源厂商也不是在做慈善。Kimi K3 的许可证规定,连续 12 个月营收超过 2000 万美元的 MaaS 托管方要另行签约。 Menlo Ventures 11 月 3 日的报告说,美国企业花在开源模型上的钱,89% 流向中国模型。 这不是“免费的胜利”,是性价比的胜利。开源不是免费,它只是把收费点从许可证挪到了算力、API 和企业服务。钛媒体界面新闻

那蒸馏呢?它是一项训练和后训练技术,能降低“获得能力”的成本,却不直接降低“使用能力”的成本。清华团队 5 月的研究提醒,蒸馏不是免费午餐:在长达 15K token 的响应里,长思维链蒸馏会出现“从后向前的熵崩塌”。 另一项研究更直接:即使闭源模型只给题目、答案和压缩摘要,攻击者仍能反推出可用于训练的推理轨迹。 隐藏思维链降低了信息密度,但没有切断能力迁移。机器之心知乎

所以,9 月的蒸馏争议,从政府公告一路烧到 API 条款,改变的是追赶前沿的难度,不是已经下载到本地的权重的推理价格。就算明天停止蒸馏,跑一次开源模型还是那个价;反过来,就算开源模型全是“蒸”出来的,自建时的电费、GPU 折旧和运维也不会消失。

成本差会变小吗?会,但先看是哪一本账。闭源靠缓存、芯片和调度把服务成本打下来,开源靠开放推理栈、硬件适配和价格战把部署成本打下来;标价差会继续缩小,单位任务成本差则取决于你的利用率和模型完成同一件事要烧多少 token。两条曲线会靠近,不会完全合并。对大多数用户,问题不是“开源还是闭源”,而是“你的任务值不值得为前沿能力付溢价,你的调用量撑不撑得起自建”。蒸馏争议还会继续,但它解释不了你的账单。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章