10月20日，DeepSeek 正式开源支撑自家大规模在线服务的内部推理框架 DeepInfer。 官方技术报告同时摊开了生产口径：单一集群每天服务 155 万亿 Tokens，整体收入每卡每小时 38 美元，按谷价计。 看懂这次开源，关键不在代码行数，而在同时读两张清单：交出来的是引擎，留在手里的是传动件。知乎GitHub
放上了桌面的：引擎层，以及国产芯片与英伟达并列的支持列表
本次发布提供的是离线推理能力，附带的核心特性面向规模化服务。 框架集成了高性能算子与深度优化的引擎，支持分布式推理、推测解码、SWA 有界重放与结构化输出，英伟达与华为昇腾被写进同一份支持列表。GitHubGitHub
官方部署问答同时直接标出了开源版与内部版的差距：FlashMLA 缺少一处手调 SASS 优化，解码 kernel 因此慢 5%–10%。 一位从事推理研发的从业者评价则冷静得多：这东西对他们这类推理研发来说意义不太大，有一点，但好些东西没开。 在他看来，精华反而在官方那篇技术长文里——负载均衡的分桶路由、按计算量估算组 batch、动态扩缩容这些生产细节，第一次被头部厂商写进公开文档。GitHub知乎
留在手里的：三样"传动件"，恰好是离线跑分与线上服务的分界线
README 把完整服务所需、但未包含在本次发布的组件单列成清单：KV 缓存系统、VE/Prefill/Decode 分离、数据并行副本间的负载均衡。 官方的解释是，KV 缓存管理与负载均衡组件与内部基础设施耦合较深，相关代码尚未完整开源，但架构设计已经公开。GitHubGitHub
这三样正对应自建服务最难的部分：缓存决定长上下文与多轮对话能否复用前缀——官方生产系统把它跑在约 100 PiB 的 3FS 存储集群上，agent 流量保留 3 天、chatbot 保留 7 天；PD 分离决定两类负载能否随流量独立扩容；跨副本负载均衡决定多机多卡是否线性扩展。 一句话，开源的是发动机，没给的是变速箱和传动轴。 受益面由此按能力分野：有推理团队的大厂省下的是算子与调度的调优时间，想照着 README 直接上线的小团队，缓存与编排这两层还得自己补。GitHub知乎
数字怎么读：155 万亿是量级，38 美元是收入
传播中最实在的失真发生在数字上。155 万亿 token/天约等于每秒 17.9 亿 token，38 美元/卡/小时则被换算成了各种回本周期。知乎
但要分清口径：官方原文写的是按谷价计的收入，不是利润，限定词在二次传播中几乎全部丢失。知乎
基准测试的条件同样有边界：官方性能图在 prefill 用 4 张、decode 用 64 张 SM100，各自限定在一个 scale-up 域内，没有给出与 vLLM 等开源基线的对比，单卡绝对吞吐也未公布。 硬件上还有一个不对称：批不变推理与确定性采样明确标注仅 NVIDIA 平台可用，昇腾 950 截至开源时没有公开的实机吞吐数据。 把国产 NPU 和 Blackwell 并列写进官方支持列表是真实信号，但在第三方复现出来之前，它写的是"支持"，不是"验证"。GitHub知乎
怎么看：权重开源成常态之后，这次开的是"成本曲线"
权重开源已是行业常态，真正拉开推理成本差距的是同一批卡能榨出多少吞吐、缓存能复用多少。DeepSeek 这次连引擎和收入口径一起公开，等于把"低价"从神秘感变成可解释、可对照的工程。 与上游社区的关系也摆在了桌面上：README 致谢写明，DeepInfer 最初主要基于 vLLM 构建，并借鉴了 SGLang 与 TensorRT-LLM，许可证同为 Apache-2.0，法务没有摩擦，摩擦在工程侧——针对自家模型的深耦合优化回灌上游，需要先把抽象拆出来。微博知乎
要不要跟进，三个问题足够过滤：模型是不是 V4.1-Flash，硬件是 SM100 还是昇腾 950，团队里有没有人能接手 KV 缓存和 PD 分离。三个答案都是肯定的，这份代码就是当下最接近生产级的推理教材；有任何一个否定，先把它当高质量读物。值得持续盯的也只有三件事：README 里那三行"待补"何时兑现，昇腾的第三方复现数据何时出现，以及异步调度、置信度调度验证、SWA 重放这些设计多久被 vLLM、SGLang 吸收进上游。开源的边界不在代码行数，而在完整服务还差哪几块——这次，DeepSeek 把差的那几块也写明白了。
