DeepInfer全面开源后,中小企业接入AI推理能省多少成本?三笔账分开算

源自34位全网作者

19:40

10 月 20 日,DeepSeek 把自家线上在用的生产级推理框架 DeepInfer 连同 Token 编解码组件 deepseek-recipe、一份部署 Q&A 全面开源,还顺带公开了账本:单一集群日吞吐 155 万亿 Token,按谷电价计算每卡每小时收入 38 美元。“中小企业接入 AI 推理能省多少”的答案取决于走哪条路:如果是自建部署复刻官方价,这扇门短期还没开;真正能落袋的省钱,眼下都在 API 账单里——峰谷差价、缓存命中价,以及这次开源在供给端掀起的降价竞争。36氪

自建这张账,短期开不了

放出来的是核心推理引擎、一批生产级算子和对齐官方 API 的编解码组件,但仓库也写明了包里不含什么:完整的 KV cache 系统、做 Prefill/Decode 分离部署所需的全部外围、跨数据并行副本的负载均衡,统统不在其中。当前版本只提供离线推理,要拼成线上服务,缺的部件得自己造。知乎

硬件是另一道门槛,H100、H800、A100 和消费卡都不在支持列表里,官方支持的是英伟达 SM100 和华为昇腾 950,配套权重只有 V4.1 Flash 一个模型。对只有一两台机器的中小企业来说,这不是“装上就省”,而是先买一代旗舰卡、再补没开源的工程。第一财经的总结比较克制:实际能够节省多少成本,仍取决于硬件配置、业务负载和部署能力。知乎第一财经

真正能省的三笔账,都在API价单里

第一笔是单价。按智东西整理的官方价目表,V4.1 Flash-1017 闲时输入缓存命中每百万 Token 只收 0.02 元、未命中 1 元、输出 4 元,高峰时段分别翻倍到 0.04 元、2 元和 8 元。官方 API 明确采用峰谷定价,闲时价格就是高峰时段的一半。同样一批离线批处理、重试和评测任务,挪到低峰时段和周末跑,账单直接对折。智东西知乎

第二笔是缓存。DeepSeek 把 BlockKVCache 放进独立的 3FS 分布式文件系统,相关存储容量约 100 PiB,Agent 流量的缓存保留 3 天、聊天流量保留 7 天。官方 Q&A 解释了聊天流量为何存得更久:长尾命中严重,缓存只保留 3 天时命中率会掉 0.5%~1%。也就是说,上下文复用越充分的业务,实际计费单价越靠近 0.02 元而不是 1 元——知识库问答、编码 Agent、固定提示词的批量任务,这笔命中价才是节省的大头。36氪知乎

第三笔是负载本身的计费结构。有开发者对账 128 个真实会话后发现,Agent 客户端每个新会话首轮都要装载数万 token 的系统提示词和工具定义,简单问答的成本几乎全是这笔“开机费”。同一批用量下,订阅套餐的成本是直采 API 的 1.4~4.3 倍。让会话续着聊、别为每个问题新开对话、摘掉不用的连接器和插件,是账单上最直接的三个省钱开关。知乎

开源撬动的大头:供给端价格战

自建省不了的钱,开源正在从供给链上挤出来。有从业者发微博直言:过去 DeepSeek 权重虽是开放的,但自己部署怎么调都做不到官方 API 那么便宜,云厂商因此不太愿意卖它的模型,这次开源推理框架是对供给市场的利好。如今 Prefill/Decode 分离、长期缓存经营、动态投机解码这些压价的工程做法全部摊在公开仓库里,更现实的路径是社区把它们移植回 vLLM、SGLang 等通用框架。价格战已经开了头:10 月 19 日 MiniMax 发布 M3.1 Flash,输入输出价格与 DeepSeek 闲时持平、约为其高峰价的一半,官方宣称 Agent 任务综合成本较前代降低 70%。微博知乎智东西

而拆解这次开源的技术作者,对普通 API 用户给出了更具体的预期:更多第三方平台将以接近官方的质量提供 V4.1 Flash,价格竞争会更激烈。知乎

省钱数字先别急着引用

最后要提醒口径。38 美元/卡/小时是按谷价折算的收入,收入、利润、硬件利用率是三个不同的概念,不能直接理解成一张卡赚钱的能力。155 万亿也只是单集群吞吐,不是全平台调用量,两者都换算不出别人家的单 Token 成本。模型侧同样留了余地:1017 版本虽称任务时间和输出变短,但官方这条更新,没有列出每个框架的完整耗时、费用明细,也没有给一个所有任务通用的节省比例。能省多少,仍要拿自己的真实任务测过才算数。知乎知乎

对多数中小企业,当下正确的省钱顺序是:先把批量任务挪进低峰时段、把会话和上下文复用做足吃满缓存价,再盯紧云厂商和 API 网关在 DeepInfer 之后放出的新报价。这轮开源真正省下的成本,大头会经由供给端竞争到账。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章