10月20日下午，DeepSeek宣布全面开源支撑其生产服务的内部推理框架DeepInfer，并同步开源生产级Token编解码组件deepseek-recipe，把大模型推理基础设施再开放一层。 和以往开源模型权重不同，这次开放的是长期不为公众所知的"中间层"：超大模型如何以合理成本服务海量用户。 官方公告的原话把目标说得很直白——让智能以更低的价格触达更广泛的人群，实现真正的大模型普惠。华尔街见闻知乎
被最快传播的成本数据正出自这一层：基于DeepInfer，DeepSeek V4.1 Flash单一集群每天处理155万亿Token，按谷电价计算每卡每小时收入38美元。 消息放出后数小时内，"DeepSeek开源内部推理框架"已登上游标讨论，被视为开源社区投下的一枚重磅炸弹。 这次开源真正改变的不是某个具体价格，而是推理成本的定价方式本身——它把各家闭门的运营经验，变成了公开可核验、人人可对账的工程账本。至于普惠，代码全开了，机房没有跟过去，这正是行业格局变化的主线。36氪微博
这次到底开了什么，又留了什么
DeepInfer集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay和结构化输出，可在英伟达与华为昇腾平台运行。 配套的deepseek-recipe覆盖Chat Completions、Responses、Messages等主流接口，确保第三方部署的API处理逻辑与官方服务一致，官方还承诺新模型的推理代码及后续优化将在此持续更新。 代码仓库已上线GitHub，地址为github.com/deepseek-ai/DeepInfer。{{{CUSTOM_HTML_TAG_4}}}华尔街见闻哔哩哔哩
但开源有明确边界。官方说明，完整运行一个推理服务所需的KV Cache管理和负载均衡部分，因与内部基础设施耦合较深，未包含在本次发布中。 一位从事推理研发的知乎用户直言：“感觉gitrepo本身，对我们这样推理研发来说意义不太大，有一点点吧，但是好些东西没开。” 另一位开发者的梳理还显示，DeepInfer最初基于vLLM构建、借鉴了SGLang与TensorRT-LLM，并整合了此前开源的DeepEP、FlashMLA、DeepGEMM等底层组件；按其观察，可复现输出的Batch-Invariant Inference等功能目前暂时只支持英伟达侧，确定性采样还要求关闭可变长度推测解码。36氪知乎
开源推理框架，比再开源一个模型更重
模型权重决定能力上限，推理框架决定每一次调用的单价。按官方口径，随着AI应用调用量增长，推理成本同时受计算、通信、任务调度与缓存管理影响，"在满足延迟要求的同时提高有效吞吐"已成为大规模服务降本的主战场。
DeepInfer的降本账本可以拆成三件事。第一，把"理解输入"和"生成回答"分开算：常见的8卡机器承担Prefill，64至128卡超节点承担Decode，两个阶段按流量自动扩缩容，减少资源错配。36氪
第二，算过的结果不重算：KV Cache分为两级，BlockKVCache存入容量约100PiB、峰值聚合读取带宽10TiB/s的独立3FS分布式文件系统，Agent流量缓存保留3天、聊天机器人流量最长7天；留在机器内存里的SWAKVCache仅保留约180秒，但命中率超过98%，未命中时只重算最近128个Token。36氪
第三，DSpark投机解码按候选Token的预期接受概率动态决定验证范围，线上数据显示，与固定验证5个Token相比，变长验证带来6%的吞吐提升。这些技术指向同一件事：压低每生成一个Token所消耗的芯片和电力。大模型普惠的第一落点从来是成本账单，而不是发布会。
38美元的账人人能算，但不是人人都能抄
口径要先说清：155万亿Token/天是单一生产集群的吞吐，38美元是按谷电价折算的每卡每小时收入，均为DeepSeek自行披露，不构成普适的利润标尺。知乎
更关键的是，这份账本的成立条件在代码之外：100PiB级缓存存储、64至128卡超节点、以Agent和多轮长对话为主、能把缓存命中率推到98%的流量结构。框架可以搬走，机房和流量搬不走。对私有化部署的中小企业，短期收益是实打实的——技术门槛下降，官方生产级做法可以直接借鉴；但要吃到同一条成本曲线，仍取决于规模和流量结构。格局由此出现分化：云厂商和二次API转售商的"自研推理优化"溢价被官方账本直接对照，定价锚从"能卖多少"滑向"离账本多近"；自建推理服务的企业，则第一次有了一份可核验的成本参照系。
格局上的三条线已经动起来了
一是开源全栈的合拢。从模型、TileLang编译工具、推理算子库，到今年6月DeepSeek与北京大学联合开源的推测解码框架DSpark，再到今天的DeepInfer，"开源吃饭的家伙"被走成了阶梯。 它抬高了竞争门槛：模型能力追平只是门票，下一轮差距挪到推理层工程。同日MiniMax发布M3.1 Flash，把输出速率卷到200+ TPS、价格砍到一半——开源阵营已经开始用同一套逻辑过招。微博36氪
二是硬件生态的话语权。DeepInfer同时兼容英伟达与昇腾，是国产算力少见的生产级背书，"昇腾集群+开源框架"可能成为算力受限买家可复制的组合。就在同一天，亚马逊开源了芯片侧软件栈TorchNeuron，被解读为一场生态解绑与算力话语权之争——全球玩家不约而同把开源推进到基础设施层，护城河正从模型向芯片、集群和电力退守。第一财经
三是推理价值的重估。当吞吐、缓存命中率、单卡收入都能对着公开账本核算，推理API的降价就有了可计算的成本地板。接下来值得盯的不是"还有没有新模型开源"，而是两个可观察信号：DeepInfer能否在昇腾侧跑进更多真实生产集群，以及vLLM等主流框架会不会吸收这些优化思路。普惠的成色，最终由下一轮定价说出。
