10月20日下午，DeepSeek把正在线上服务的推理框架DeepInfer开源了——这套系统支撑着DeepSeek V4.1 Flash的大规模服务，官方同步放出生产级Token编解码组件deepseek-recipe和一份部署实践Q&A。36氪
“推理成本能降多少”，官方贴出的实际线上运行数据表给得很直接：不含缓存命中时每卡吞吐60K tokens/秒，含缓存命中达到1.5M tokens/秒，平均输入缓存命中率96%——同一张卡，缓存命中与否就是二十多倍的产出差距。公告同时披露，单一集群每天吞吐155万亿Tokens，整体收入每卡每小时38美元，按谷价计算。 但要注意，38美元是收入不是成本，卡型、卡数都没有公开，无法据此反推单token成本。这次开源对成本的真实价值，藏在这些数字背后的几笔效率账里。知乎
三笔省下来的账
缓存这一头，DeepSeek把KVCache当长期资产经营。 Block KVCache放进独立的3FS存储集群，SSD容量约100PiB，agent流量缓存3天、chatbot流量缓存7天，后续请求一旦命中，最耗算力的Prefill环节就不用重跑。 官方经验数据是，把chatbot的缓存TTL缩到3天，命中率就要掉0.5%–1%——这就是存到7天的理由。只在活跃会话里分钟级复用的SWA KVCache则不进持久化存储，留在本机内存，保留约180秒，线上命中率超过98%。36氪知乎
缓存没命中时，重算代价被做成了常数。 V4.1的SWA Bounded Replay只重算最近128个token，注意力窗口截断在重算段内，官方称重算代价降为与上下文长度和层数无关的常数，代价是窗口内KV为近似值——拿一点精度换算力。知乎
解码这一头靠变长投机解码。 DSpark用Confidence Head预估每个草稿token的接受概率，只验证有效吞吐最大的前缀，而不是固定把5个草稿token全部送验；官方披露，线上部署相比固定验证吞吐提升6%。 几个百分点听上去不大，但放到每天155万亿token的规模上，就是可观的卡时节省。36氪
支撑这些的还有硬件组织方式：Prefill用常见的8卡机器，Decode用64–128卡超节点，自动扩缩容动态调整两者比例，减少流量变化导致的资源错配。 MoE模型靠冗余专家和动态重排做负载均衡，decode侧线上实测负载不均衡度（最慢卡/均值）1.090；异步调度再把调度、前向计算和采样重叠，压缩设备空等。 这些设计不单独输出一个成本百分比，但共同指向同一件事：同样的卡，跑更多token。36氪知乎
实测边界：开源的是引擎，不是整套服务
选题里的"实测"，截至开源当天只有官方生产集群数据和官方基准（4卡Prefill、64卡Decode的吞吐-延迟曲线），还没有独立第三方跑出自己的数字。README写明，当前版本提供的是离线推理，完整的在线服务还需自备KV缓存系统、P/D分离与跨实例负载均衡。 官方Q&A确认，KVCache管理与负载均衡两部分因与内部基础设施耦合较深，相关代码尚未完整开源。 硬件门槛也不低：只支持NVIDIA SM100或昇腾950，H100、H800、A100和消费级显卡都不在支持列表。GitHub36氪知乎
所以"普通开发者即刻用上"的判断目前不成立。有推理研发背景的知乎用户直言，仓库本身对推理研发意义有限、好些东西没开，精华其实在那份Q&A里。 更现实的传导路径是社区把Bounded Replay、DSpark这些做法移植回通用框架——DeepInfer本身就是主要基于vLLM搭建的。知乎GitHub
云服务成本的真正影响在哪
权重早就开源，行业痛点一直是自部署怎么调都做不到官方API那么便宜，以至于云厂商不太愿意卖DeepSeek的模型——竞争不过官方渠道。 这次放出的正是支撑官方低价的那套系统：有大集群的厂商如果能复制这套缓存策略和高并发调度，第三方部署第一次有机会逼近官方的服务质量和单位成本，自部署用户也能少踩"量化降智"的坑。 "能降多少"没有一个官方公布的总百分比，它更可能以价格战的形式兑现：更多平台以接近官方的质量提供V4.1 Flash，缓存命中价和输出单价在竞争中被压低。微博哔哩哔哩
官方承诺新模型的推理代码和后续优化将持续在DeepInfer中开源。 从2025年的开源周、TileLang与算子库，到今年6月的DSpark，再到这次的生产推理框架，"模型能用"到"服务能卖"的最后一环正在被逐层摊开。接下来值得盯的信号也很具体：第三方平台的自部署实测数据，以及围绕V4.1 Flash的第三方套餐价格会不会松动。知乎
