DeepSeek把省钱的图纸开源了,但中小开发者先别急着买卡

源自263位全网作者

17:23

10 月 20 日,DeepSeek 把线上推理框架 DeepInfer 开源。对中小开发者来说,最直接的诱惑是:权重免费,引擎也免费,是不是终于能把 API 账单换成自己的机器?先把结论说了:如果你只有几个人,自建大概率比 API 贵,而且贵得多。

API 已经便宜到不像话

先看 API 这边。按官方价目表,空闲时段 V4.1 Flash 缓存命中输入 0.02 元/百万 token,未命中 1 元/百万 token,输出 4 元/百万 token。 高峰时段翻倍,周末和法定节假日全天按空闲价。知乎专栏DeepSeek API 文档

DeepSeek 公开的生产数据里,96% 的输入能直接命中缓存,平均每个请求输入 77K。 按输出 1%、未命中输入 9%、命中输入 90% 的构成,1 亿 token 的账单大约 15 元,高峰 30 元。五个人每天各用 2000 万 token,一个月 API 费用大约 450 到 900 元。知乎专栏

自建的账,卡在坐满

自建这边,账是另一个量级。按公开硬件价格估算,能跑起来的最小实例是两台 8 卡 B300,共 16 卡;每月固定成本自有约 2.3 万到 4.1 万美元,租用约 6.2 万到 7.9 万美元。知乎专栏

这套设备坐满时每天约 3800 亿 token,要 1.9 万个每天 2000 万 token 的重度用户才能喂饱。 坐满后每 1 亿 token 成本 0.20 到 0.36 美元,确实只有 API 的约一成。知乎知乎专栏

但打平 API 只要 1400 到 2400 人,换句话说,用到满负荷的一成,才刚够本。 五个人、每天 1 亿 token 的团队,用量只有这套设备满负荷的约 1/3800;固定成本摊不开,每 1 亿 token 的成本会飙到 API 的几十倍。知乎

开源包里没有机房

更麻烦的是,DeepInfer 并不是下载就能对外服务。它给的是离线推理,支持的模型只有 V4.1 Flash,硬件只有 NVIDIA SM100 和华为昇腾 950。知乎专栏

KV 缓存系统、P/D 分离和跨副本负载均衡,官方明确说不在这次开源包里。 部署问答还给了一个更具体的门槛:最小高效单元是 64 卡 prefill 加 64 卡 decode。GitHubDeepSeek GitHub

再往上,官方提到的缓存集群是约 100 PiB 的 SSD。 互联还要按每 8 卡 400 Gbps 预留。 好消息是,开源社区一周内就把这些 kernel 接进了 vLLM 和 SGLang,SGLang 还补上了 KV 缓存、P/D 分离和负载均衡。 但框架补齐的是“怎么跑”,不是“值不值得跑”。小红书DeepSeek GitHub36氪

如果只是想给团队内部用,端侧设备看起来更现实:两台 DGX Spark 的社区方案约 9400 美元,一个人只在工作日白天用、每天 2000 万 token,成本是 API 的 16 到 17 倍。 设备买回来就在折旧,而一个人一天只把它跑一个多小时。只有二三十人以上共用、且使用时间铺到晚上和周末,端侧才可能比 API 便宜两到五成。 实测里,两台 Spark 装不下量化后约 300GB 的权重,四台 Spark 在 1M 上下文下也只有约 4 路并发。知乎知乎专栏哔哩哔哩

真正能省的,不在机房里

这不是某一个人的估算。UCloud 的私有化部署对比里给过一条更简单的线:日调用量在千万 token 量级以下,自建的单 token 成本几乎一定高于 API,省下来的只是心理安全感。 真正能省钱的杠杆在账单结构里:缓存命中价是未命中价的五十分之一。 闲时价是忙时的一半。 把系统提示词和工具定义固定住,把批处理挪到晚上和周末,一个小团队有可能把 API 账单砍掉一半,而不必买一张卡。知乎专栏知乎专栏DeepSeek API 文档

如果你不是自用,而是想靠开源模型卖 token,账也不轻松。硅基流动的招股书里,毛利率从 2024 年的 39.4% 掉到 2025 年的 -24%。 租一张 B300 每小时 8 美元,满打满算每小时产出 10 到 20 美元的 token,还没扣电费、带宽和获客。 开源把技术门槛拉平了,也把价格战拉平了。36氪36氪

DeepSeek 这次开源,最值钱的东西不是那套代码,而是它把账本摊开了:单集群一天 155 万亿 token,单卡每小时收入 38 美元。 96% 的输入命中缓存。 这些数字说明,便宜来自规模和缓存,不来自“开源”两个字。中小开发者最该抄的,不是它的机房,是它的账单结构:把缓存命中做高,把不着急的活挪到闲时,把买卡的钱留到真的有一两千个重度用户之后。DeepSeek GitHub知乎专栏

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章