10月20日晚，DeepSeek 宣布全面开源内部推理框架 DeepInfer，并同步开源 Token 编解码组件 deepseek-recipe，模型权重、算子之外的"整机调度层"第一次公开。 随技术报告给出的两个数字刷了屏：“目前单一集群的服务吞吐是 155 万亿 Tokens/天，整体收入是每卡每小时 38 美金（按谷价）”。 但在开始"回本算术"之前，两个口径要先摆正：155 万亿是单个集群一天服务掉的在线量，不是全公司；38 美金是按谷价计的整体收入，不是利润。这场开源真正的价值，是第一次有人把生产级推理系统的吞吐与每卡收入完整摊开。36氪知乎
先掰口径：这两个数字不能乱用
官方部署问答的英文原文更精确：“A single cluster currently serves 155 trillion tokens per day, with overall revenue of US$38 per GPU-hour (at valley pricing)”。 计费单位是"卡·小时"，统计对象是"整体收入"，括号还限定按谷价计算。DeepSeek 没有公布集群数量和公司整体收入，用 38 美金去推算回本周期、利润率甚至总盈利，都超出了这句话的边界。有解读文章对此点得很透：“同一串数字在 24 小时内被读成收入、利润、回本周期三种东西，这是本次传播中最实在的失真”。GitHub知乎
收入从哪来：省的不是电费，是重复计算
155 万亿 Token 一天，平均下来是每秒约 18 亿 Token 的持续在线服务，横跨 Prefill 与 Decode 两类机器，并由一套 KV 缓存系统串起来——这才是收入数字的来路。官方对硬件组织的设计原话：“ordinary 8-GPU machines for prefill, ordinary 64–128-GPU supernodes for decode”。 普通 8 卡机做 Prefill，64 至 128 卡超节点做 Decode；Decode 侧用 EP64–128 的 Wide-EP 把专家摊到最散，摊薄每步的显存读取，热专家再靠冗余副本和周期性重排压平。GitHub
更值钱的是缓存。主体 KV 缓存不进本机内存，而是存进专用 3FS 存储集群（约 100 PiB SSD），“with a TTL (time-to-live) of 3 days for agent traffic and 7 days for chatbot traffic”。 滑动窗口注意力那部分留在机器内存里，“线上数据显示，这部分缓存的保留时间约为180秒，命中率超过98%”。 任何一台 Prefill 机器都能命中任意前缀，路由不用再迁就前缀亲和性。GitHub36氪
缓存未命中时也不整段重算：“SWA bounded replay recomputes only the most recent 128 tokens and truncates the attention window to within the replayed segment”。 重算成本与上下文长度、层数脱钩，官方称解码层应用该机制后每次 Prefill 的总计算量近乎减半。投机解码 DSpark 则按置信度决定验证多少草稿 Token：“在线部署中，与固定验证5个Token的方式相比，变长验证使吞吐提升6%”；调度层面继续做减法，“overlap CPU batch scheduling with device execution” 的异步调度默认开启。 这一整套省下的不是电费，是重复计算。GitHubGitHub
开源版有什么、没什么：别指望"下载即服务"
README 把版本定位写得很直白：“This open-source release provides offline inference with the core features needed for serving at scale”。 要把离线批处理变成线上服务还缺三块：KV 缓存系统、VE/Prefill/Decode 分离（标注"引擎侧功能大部分已实现"）、跨数据并行副本的负载均衡，“由于KVCache管理和负载均衡部分与内部基础设施耦合较深，相关代码目前尚未完整开源”。 门槛还写在官方问答里：“the smallest efficient deployment unit is 64 GPUs of prefill plus 64 GPUs of decode”，即 128 卡起步才是有效部署单位。GitHub36氪GitHub
硬件清单只列了英伟达 SM100 与华为昇腾 950 两行，但"支持双平台"和"验证过双平台"是两回事。社区读码的结论：“批不变推理与确定性采样明确标注仅限英伟达，昇腾路径拿到的是功能子集；官方基准全部在 SM100 上完成，没有公布任何昇腾 950 的实机吞吐”。 截至发稿，DeepInfer 仓库只有 3 次提交、没有任何版本发布——放出来的是整理过的参考实现，不是养起来的产品。知乎
为什么这件事比一个榜单名次重要
此前 DeepSeek 陆续放出的是零件——FlashMLA、DeepGEMM、DeepEP、TileLang，这次补的是把它们装成整机的调度层。而框架被当作参考实现之后，“硬件采购、云厂商报价、模型服务商的毛利都会被重新锚定”。 官方也已表态，新模型的推理代码及后续性能优化将持续开源在 DeepInfer 中，这份账本只会越摊越细。知乎
往前看一天，10 月 19 日 Arena 公布 “DeepSeek-V4.1-Flash-1017 (Max) 成为 Code Arena: WebDev 榜单排名最高的开源模型”，注意那是前端子榜的开源排名，模型在总榜排第 12，综合智能的头部仍是闭源顶配。 两件事前后脚，说的其实是同一个变化：“很多人只盯着大模型本身，却忽略推理框架才是降本提速的关键”。 模型好不好，正在从"参数量多大、榜单第几"变成"每卡每秒服务多少 Token、每一美元赚回几分能力"。知乎微博
接下来真正值得盯的是三个信号：KV 缓存与负载均衡是否陆续开源，决定 DeepInfer 从参考实现变成可部署方案；昇腾 950 是否出现第三方实机吞吐数据，决定双平台是能力还是姿态；3 次提交的仓库是否开始系统性合并 PR、发出版本号，决定这套生产级账本能保鲜多久。
