DeepSeek把线上吃饭的家伙端上了开源桌，但没把整套餐具都给。10月20日，DeepSeek宣布全面开源内部推理框架DeepInfer，并同步开源Token编解码组件deepseek-recipe，这是它第一次把支撑 DeepSeek V4.1 Flash 大规模在线服务的推理系统，公开到能被同行复算细节的程度。这次开源会重塑赛道，但答案不是"个人开发者免费用上大模型"——真正被改变的是推理成本的参照系：有大集群的厂商第一次拿到官方级的部署方法论，英伟达与华为昇腾被写进同一份官方支持列表，整个行业的推理优化从此有了一个来自生产环境的对标物。36氪
开出了什么，留下了什么
官方原文写得直白：今天正式开源大规模云服务推理框架 DeepInfer，它集成高性能算子与深度优化推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，可在英伟达与华为昇腾平台上运行，且新模型的推理代码与后续优化将持续放进这个框架。同步开源的 deepseek-recipe 负责在 Chat Completions、Responses、Messages 等主流 API 协议与模型 token 序列之间做编解码，还在 tokenizer 层挡住了用户输入伪造 special token 的注入攻击，普通项目可以单独拆用。知乎知乎
留下的部分同样关键。官方明确，推理系统中的 KVCache 管理与负载均衡组件因与内部基础设施耦合较深，相关代码目前尚未完整开源。拆解开源仓库的开发者进一步核对：README 说当前版本提供的是离线推理。也就是说，这次放出的是发动机，不是整台车——把引擎装进能扛线上流量的整车，最难的环节仍要自己补。知乎知乎
从业界的即时反馈看，增量最集中的反而不是代码本身。有推理研发人士直言，对同行研发来说 git 仓库意义"有一点点，但好些东西没开"，真正有价值的是随框架公开的部署实践：按输入长度分桶的调度、不做前缀亲和而靠池化缓存兜底的 Prefill 路由、用 RDMA 打满 PCIe 又不占用 SM 的缓存换入，这些生产细节此前没有公开参照。普通开发者则要直面硬件清单：当前支持范围是 SM100 一代与昇腾 950，H100、H800、A100 和消费卡都不在列表里。知乎知乎
两个刷屏数字，先拆口径再谈意义
“155 万亿"和"38 美元"是传播最广的两个数字，但口径必须先钉死：单一集群的服务吞吐是 155 万亿 Tokens/天，整体收入是每卡每小时 38 美金（按谷价）。注意，38 美元是"收入"，不是利润，且按谷段电价折算；官方未公布卡型与卡数，无法反推单 token 成本。这个数字真正能支撑的结论是：这套系统跑在真实的生产规模上并产生了正向现金流，而不是"每张卡稳赚 38 美元”。知乎
成本优势的来源藏在缓存账本里。Block KVCache 存入约 100 PiB 的独立 3FS 存储集群，agent 流量缓存保留 3 天、chatbot 流量保留 7 天——官方解释是聊天流量的长尾命中更严重，缓存只留 3 天就会损失可观的命中率。官方随文公布的线上实测显示，含缓存命中时单卡吞吐最高可达不含缓存口径的约 25 倍，平均输入缓存命中率达 96%。对照 2025 年 2 月开源周公开的 V3/R1 推理系统，这次 Prefill 收进单机 8 卡以内，Decode 节点也比当年的 18 节点更小；模型与硬件都已换代，规模不能直接比，但方向明确——同样的吞吐，吃更小的部署单元。知乎知乎
另一层降本来自"拿近似换算力"。滑动窗口的 SWA KVCache 不落盘、只留在机器内存里约 180 秒，命中率超过 98%，一旦未命中也只重算最近 128 个 token，重算代价变成固定常数；投机解码框架 DSpark 用置信度预测动态选择验证长度，线上相比固定验证 5 个 token 吞吐提升 6%。单个百分点不显眼，放到日均百万亿 token 级的集群上就是大片卡时。知乎
格局重塑，沿三条轨道发生
第一条轨道是第三方部署与云厂商。开发者社区的常见抱怨是，模型虽是开放权重，但第三方怎么调都做不到官方 API 那样的成本，云厂商卖 DeepSeek 并不划算；现在从缓存分层、PD 分离配比到投机解码，官方把成本曲线背后的完整方法摊开，有大集群的玩家第一次有了照着做的参照。价格战是否发生取决于各家补齐 KVCache 管理与负载均衡的能力，目前只能确认为可能性。值得注意的是开源的连续性：从模型、用于开发高性能算子的 TileLang 以及一系列推理算子库，到今天的整套推理框架，DeepSeek 的技术栈外放半径在两年内逐级扩大。知乎知乎
第二条轨道是硬件格局。昇腾与英伟达并列出现在官方支持列表，意味着国产算力平台第一次获得经过超大规模生产验证的官方级推理软件——过去国产卡做推理最缺的不是硬件，是能把硬件跑满的软件栈。
第三条轨道是通用开源生态。DeepInfer 短期内不会取代 vLLM、SGLang 的位置，更现实的路径是社区把 SWA Bounded Replay、DSpark 这些做法移植回通用框架。拆解者总结的两个设计思想可能比代码本身走得更远：把 KVCache 当成长期存储资产来经营，在可接受的近似范围内换算力——这两件事直接决定缓存命中价与高并发单价能压到多低。知乎
接下来的观察信号很具体：未开源的 KVCache 管理与负载均衡组件是否补齐；vLLM、SGLang 及云厂商对这套做法的移植速度；第三方平台上 V4.1 Flash 的报价是否松动。当"精华"从官方仓库流进通用框架的那天，普惠才从大集群走到普通用户。
