10月20日，DeepSeek把自家内部推理框架DeepInfer正式全面开源，同步放出生产级Token编解码组件deepseek-recipe，并附上线上实绩：单一集群服务吞吐达到每天155万亿tokens。这不是演示仓库——框架此刻正支撑DeepSeek V4.1 Flash的大规模在线服务，官方公告同时写明，未来新模型的推理代码及后续优化都将在此持续更新。知乎微博
放出来的是正在线上打仗的那套栈
按官方说明，DeepInfer集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay和结构化输出，可在英伟达与华为昇腾两个平台上运行。同步开源的deepseek-recipe把生产环境的token编解码流程完整放出，与官方API处理逻辑对齐，社区自建部署时可以少踩行为不一致的坑。仓库信息显示，DeepInfer采用Apache 2.0许可、可商用，目前只支持V4.1-Flash，硬件需要Blackwell或昇腾950这一档数据中心卡。知乎知乎微博
成本是从缓存和调度里抠出来的
官方部署实践长文把吞吐拆开讲。块级KVCache落盘在独立的3FS分布式文件系统里，存储容量约100PiB，Agent流量缓存保留3天、聊天流量7天，后续请求命中这部分缓存就不用重做Prefill。滑动窗口缓存（SWA）则只留在本机内存、不落盘，线上数据是保留约180秒、命中率超过98%。未命中时只重算最近128个token，重算代价由此变成与上下文长度无关的常数。36氪知乎
投机解码用DSpark做变长验证，按候选token的预期接受率动态决定验证范围，官方称相比固定验证5个token，线上部署吞吐提升6%。硬件组织是“前小后大”：常见8卡机器承担Prefill，Decode交给64至128卡超节点，两阶段实例比例再随流量自动扩缩容。知乎36氪
“每卡每小时38美元”该怎么读
这次公告里最出圈的数字是收入：单一集群日吞吐155万亿token，按谷电价计算，每卡每小时整体收入38美元。有人按B200每卡时租不到8美元去粗算，得出毛利率接近80%的水平。但这没有计入折旧、带宽和运维成本；高赞回答也提醒，“收入、利润、硬件利用率是三个不同的概念”，谷电口径的收入不等于稳赚。36氪知乎知乎
“全面开源”没覆盖什么
官方帖同时划了边界：KVCache管理与负载均衡组件因与内部基础设施耦合较深，目前尚未完整开源。也就是说，放出来的是核心推理引擎与一批高性能算子，要搭出同等规模的线上服务，缓存管理、跨副本调度仍需自备。有推理研发背景的锐评更直接：仓库本身“好些东西没开”，精华其实在那篇部署实践长文。另一种看法认为，这更像对此前已开源组件的整合打包，“相当于一个linux发行版的意思”。知乎知乎知乎
事件之外的一层
DeepSeek的开源轨迹是逐层外放的：模型之后是TileLang与推理算子库，这次轮到整套生产级推理栈。官方公告以“为善与众行之，为巧与众能之”作结。同一天MiniMax发布M3.1 Flash，输出卷到200+ TPS、价格砍到1/2。Flash档的竞赛正从模型能力卷向推理成本。被公开的不只是代码，而是一整套让智能更便宜的线上做法——下一轮比拼，看的是谁用更少的卡和电生成同样的token。知乎微博36氪
