DeepSeek 在 10 月 20 日正式开源了内部推理框架 DeepInfer，许可证为 Apache 2.0。这套框架不是社区演示项目，而是正在支撑 DeepSeek V4.1 Flash 大规模线上服务的那套系统，官方披露的运行数据是“目前单一集群的服务吞吐是 155 万亿 Tokens/天”。 模型能做什么由训练划定，但如何以合理的成本服务海量用户，是推理框架要解决的问题。知乎
不过，“开源”不等于“整套线上服务开箱即用”。DeepSeek 明确表示，KVCache 管理与负载均衡组件因为与内部基础设施耦合较深，相关代码目前尚未完整开源。 官方仓库的 README 同时写明，当前版本提供的是离线推理。 带着这两条边界，下面把被问得最多的 5 个应用场景逐一拆开，每个场景都标注这次开源实际覆盖到哪一步。网易知乎
场景一：高并发聊天服务——把缓存放进独立集群长期“囤”
在线对话服务的成本大头在输入处理：系统提示词、示例和反复上传的长文档，用户越多，重复的 Prefill 计算越多。DeepInfer 的解法是把两个阶段分开组织硬件，DeepSeek 使用常见的 8 卡机器承担 Prefill 任务，并采用 64 至 128 卡超节点承担 Decode 任务。 首字延迟和吐字间隔因此可以各自独立优化。算过的 KVCache 也不挤在本机内存里，而是进入独立的 3FS 存储集群，官方数据为 KVCache 提供约 100 PiB 的 SSD 存储。 缓存留得久是有原因的：对话场景的长尾前缀会被反复命中，保留时间过短会直接损失命中率——这决定了命中部分请求的单位成本能压到多低。36氪知乎
场景二：AI Agent 长任务——缓存没命中，也只重算 128 个 token
Agent 会话自带工具定义和历史输出，前缀更长，但复用密度反而低，官方披露的数据里 Agent 流量的 KVCache 保留时间达到 3 天，聊天机器人流量则达到 7 天。 对滑动窗口注意力层的 KV，系统干脆不落盘：这部分缓存只在活跃会话的分钟级窗口里复用，线上保留约 180 秒，命中率已超过 98%；一旦发生未命中，V4.1 推理系统采用 SWA Bounded Replay，只重算最近 128 个 token，并把注意力窗口截断在重算段内。 重算代价由此变成与上下文长度和层数无关的常数，代价是得到的缓存为近似值而非逐位精确。投机解码模块 DSpark 走的是同一思路：草稿每步出 5 个候选 token，验证时按预期接受率挑选前缀，官方对比称线上部署中变长验证比固定验证吞吐提升约 6%。36氪知乎
场景三：私有化部署与国产算力——生产级参考实现，不是交钥匙工程
对想自建大模型服务的企业和云厂商，首要顾虑是硬件兼容性。DeepInfer 的答案是双平台路线：集成高性能算子和深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，并能够运行在 NVIDIA 与华为昇腾平台上。 但当前支持列表的门槛也写得很硬：硬件门槛是 SM100 或昇腾 950，H100、H800、A100 和消费卡都不在支持列表里。 开源内容覆盖推理引擎、并行策略、异步调度与结构化输出等核心组件，官方还承诺未来新模型的推理代码及后续性能优化都将在 DeepInfer 持续开源。因此它更接近一份经过线上验证的“参考答案”：KVCache 系统、服务解耦与负载均衡仍需部署方自备。网易知乎
场景四：结构化输出与工具调用——让模型答案直接进业务系统
工具调用、表单填充、数据抽取这类流程要求模型输出严格符合指定格式，一个括号错误就意味着链路断裂。DeepInfer 内置了结构化输出能力，可依据 JSON Schema、正则表达式等约束控制模型生成结果，满足特定应用对输出格式的要求。 实现上的细节是编译与推理解耦：约束编译在请求进入引擎前异步完成，格式约束不占用推理关键路径。36氪
场景五：API 兼容与 token 注入防护——deepseek-recipe 可以单独装
与 DeepInfer 同线程放出的另一件东西看似低调，对普通开发者却最友好：DeepSeek 同时开源了生产级 Token 编解码组件 deepseek-recipe，用于在主流大模型 API 协议和模型 Token 之间进行高效、准确转换。 它把 Chat Completions、Responses、Messages 三种主流协议统一转成同一种对话格式，第三方部署得以用同一套编解码逻辑复现官方 API 行为。更值得注意的是安全面：用户输入、工具返回和工具调用参数中出现的角色标记、图片标记一类特殊字符串，会被编码成普通 token，模型自己用普通 token 拼出结束标记也不会触发对应能力——这相当于在 tokenizer 层堵住了特殊 token 注入。 分段并行编码则压低了超长文本的分词耗时，直接影响首字延迟。网易知乎
五个场景收拢到同一点：DeepInfer 放出来的一整套是经过线上验证的降本方法——P/D 分离决定算力怎么用，独立存储集群决定缓存留多久，Bounded Replay 和变长验证决定哪些计算可以省。谁能先用上，边界也很清楚：拥有 64 至 128 卡超节点和独立存储的大集群能完整消化这套引擎；个人开发者与中小团队的收益更可能来自间接路径——社区把上述机制移植回 vLLM、SGLang 等通用框架，以及更多第三方平台以接近官方的质量提供 V4.1 Flash 之后，价格与服务稳定性上的竞争。接下来最值得盯的两个信号：缺失的 KVCache 管理与负载均衡组件是否会补齐，官方承诺的“新模型推理代码持续开源”能否如期兑现。
