10月20日，DeepSeek宣布在已开源大模型、TileLang编译工具及推理算子库的基础上，进一步全面开源内部推理框架DeepInfer，并同步放出生产级Token编解码组件deepseek-recipe。框架本体放上GitHub，采用Apache 2.0协议，默认权重就是它自己线上在跑的V4.1 Flash。随开源一起发布的部署实践报告，把线上规模摊在了桌面上：单一集群每天服务吞吐155万亿Tokens，整体收入每卡每小时38美金（按谷价）。但"全面开源"的准确含义，要连着这次划下的边界一起读：端上桌的是线上在跑的推理引擎本体，撑起服务的在线编排层不在其中。微博知乎知乎
两个旗舰数字需先说清口径：155万亿Tokens/天是包含缓存复用输入的服务吞吐，不是每天新产出的输出量；38美金/卡·小时是按谷价计算的收入口径，不是利润。报告同时给出了线上质量指标：输入缓存命中率96%，平均首字延迟400ms。知乎知乎
账本背后是能直接对应成本的三项设计。推测解码框架DSpark走变长验证路线：草稿一次生成5个token，置信度头预测每个token的接受率，验证算力优先分给边际收益最高的部分，线上部署相比固定验证5个token吞吐提升6%。SWA Bounded Replay在滑动窗口缓存缺失时只重算最近128个token，注意力窗口截断在重算区间内，重算代价从随上下文长度变化变成常数。异步调度让CPU在GPU执行第N步时并行完成第N+1步的调度，消掉两段时间里的设备空转。知乎36氪知乎
边界：给的是引擎，还缺三块拼图
README和多位逐行读码的工程师指向同一件事：本次开放的是离线推理核心。官方口径同样明确：KVCache管理与负载均衡组件因与内部基础设施耦合较深，相关代码目前尚未完整开源。但这些没进代码的设计在报告里几乎写全了：Block KVCache存放在专用3FS集群，约100PiB的SSD，Agent流量缓存留3天、对话流量留7天；8卡机器承担Prefill、64至128卡超节点承担Decode，实例比例再靠自动扩缩容跟随流量调整。所以，克隆仓库能复刻引擎，复刻不出那套线上服务。知乎知乎36氪
震撼与保留意见在现场同时出现，知乎同题问题下的最高赞回答调侃"自家印钞机，这也能开源"。更克制的读法是：可移植的部分这次给得彻底，绑定自家机房的部分连设计带数字一并公开——争议收拢到一点，边界到底划在哪。知乎
能拿走什么：不止一个能跑的框架
对工程团队，DeepInfer的价值不只是开箱即用。它最初主要基于vLLM构建，参考了SGLang、TensorRT-LLM等实现，真正的增量在FlashMLA、DeepGEMM、DeepEP等自研kernel和调度器的落地写法。官方同时承诺，后续新模型的推理代码与性能优化会继续在DeepInfer中开源。叠加此前的模型、TileLang编译器与推理算子库，从权重到服务基础设施的开源链条至此闭环。动手之前先看门槛：目前支持的模型只有V4.1-Flash，需要Blackwell或昇腾950这类数据中心卡，消费级显卡跑不动。知乎知乎微博
同步开源的deepseek-recipe负责把Chat Completions、Responses、Messages等主流接口的编解码对齐到官方API行为，替第三方省掉最容易出错的协议层。接下来值得盯的信号是：异步调度、置信度驱动的验证预算、SWA有限回放这三项可移植设计，多久会出现在vLLM、SGLang等开源框架的更新日志里。36氪
