10 月 20 日，DeepSeek 官宣开源大规模云服务推理框架 DeepInfer，官方同步表示，基于这一框架已实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务。官方给 DeepInfer 的定位不是演示项目，而是实际支撑其线上服务的引擎，这次放出的是带服务级核心能力的离线推理版本。 随官宣一起公开的，还有 DeepSeek 线上服务的首份经营口径：单一集群目前日服务吞吐 155 万亿 Tokens，整体收入每 GPU 小时 38 美元，且这是按谷价计算的成绩。 换句话说，这次开源的是"发动机"：把发动机变成 DeepSeek 线上服务的"油箱"——KV 缓存与请求调度体系——没有出厂。知乎GitHubGitHub
开源了什么：生产引擎带全套算子，外加一份编解码
官方描述中，DeepInfer 把高性能算子与深度优化的推理引擎打包在一起，支持分布式推理、推测解码、SWA 有界重放、结构化输出等能力，英伟达与华为昇腾两个平台都能跑。 引擎的出身 README 也写得明白：它主要构建在 vLLM 之上，另从 SGLang 和 TensorRT-LLM 获取了借鉴。 底座是此前逐个开源的那批算子库——FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及自定义 TileLang kernels——这次以完整引擎的形式合体；引擎侧则带上了 MoE 专家并行与 EPLB、DSpark 置信度调度验证的推测解码、零开销异步批调度、批不变推理、确定性采样和结构化输出。GitHubGitHub
同批放出的还有一个独立仓库 deepseek-recipe（MIT 许可）：Rust 实现的生产级 Token 编解码组件，负责把 Chat Completions、Responses、Messages 等主流 API 协议与模型 token 序列互相转换，官方称其处理逻辑与 DeepSeek API 完整对齐，第三方自部署能获得与官方一致的 API 体验。知乎
没开源什么：最要紧的三件，一件都没出
README 单列了一份"完整推理服务需要、但本次未包含"清单：KV cache 系统、VE/Prefill/Decode 分离部署（注明引擎侧功能大部分已实现）、数据并行副本之间的负载均衡。 官方给出的原因是，KVCache 管理与负载均衡组件与内部基础设施耦合较深，相关代码目前尚未完整开源。 这套没出厂的基础设施规模不小：部署 Q&A 披露，官方用约 100 PiB 的 3FS 分布式 SSD 集群存放块 KV 缓存，智能体流量保留 3 天、对话流量保留 7 天。 折算下来每卡按逻辑容量约 14.4 TB——"命中缓存省掉重复 Prefill"正是线上成本的大头，把请求路由到缓存所在位置的整套体系都留在家中。GitHub知乎GitHub
同一份 Q&A 里还有一条更少被转述的细节：开源版 FlashMLA 的解码内核因为缺少一处手工调优的 SASS 优化，比内部版本慢 5%–10%。 官方补充说端到端性能差距最多 5%——但换个角度看，线上最快的那版内核，社区依然拿不到。 这几乎是对 DeepSeek 2025 年 4 月表态的推翻——彼时它明确表示不会发布完整代码库，而是把核心优化逐步注入 vLLM 生态。 但时间线也对上了当年的理由：GitHub 元数据显示，DeepInfer 仓库 10 月 16 日（UTC）就已创建，四天后才官宣，而耦合最深的部分依然没有拿出来。GitHub微博GitHub
谁能真正用起来：先过机房规模关，昇腾性能还待验证
门槛先说清。DeepInfer 的硬件支持只列了 NVIDIA SM100 GPU 和华为 Ascend 950 NPU，软件环境锁定 Python 3.12 加 CUDA 13（英伟达）或 CANN 9.2（昇腾），消费级显卡不在支持范围内；批不变推理与确定性采样目前也只有英伟达平台可用。部署 Q&A 给出了生产规模的参照：prefill 与 decode 的 GPU 配比约 1:1，最小的"高效"部署单位是 64 张卡预填充加 64 张卡解码。 受益者因此是两类人：大规模自托管 DeepSeek 模型的玩家，直接拿到一份生产校准过的调度与算子参考实现；以及昇腾生态用户，第一次有了针对 Ascend 950 的一方维护、生产验证过的推理栈——要知道官方部署 Q&A 自述，负载均衡体系能把真实集群拉到理想离线基准约 80% 的水平，而这部分只有设计文档、没有代码。需要说清的是，本次公布的全部性能基准图都在 SM100 上测得，Ascend 950 没有公开成绩，战略定位和性能证据是两回事。GitHubGitHub
发动机开源了，账本翻开了
这次开源更大的意义在序列而非单点：算子库（FlashMLA、DeepGEMM、TileLang）、通信库（DeepEP）、推测解码框架（DSpark）过去两年零散放出的部件，如今被一份带调度器的框架串成从内核到集群的完整链条，155 万亿 Tokens/天、每卡时 38 美元（谷价）这份此前从未公开的经营账本也一并摊开。官方同时承诺了后续路径：未来 DeepSeek 新模型的推理代码及后续性能优化，都将在 DeepInfer 中持续开源。 对普通用户，降价信号真实但间接——推理栈商品化会持续压低各家托管与自托管的成本；对开发者，下一个值得盯的节点不是 star 数（截至 10 月 21 日中午已超 1.4 万），而是 KV 缓存、PD 分离与负载均衡这三件套何时补进仓库：那才决定"开源推理引擎"最终兑现的是整个在线服务，还是停在引擎本身。知乎
