在大模型领域，开源模型参数权重已经非常普遍，但决定模型能否“又快又便宜”运行的线上推理框架，通常被视作各家厂商的核心商业机密。近期，DeepSeek宣布将其内部正在使用的生产级推理框架 DeepInfer 全面开源，采用 Apache 2.0 协议，并同步开源了采用 MIT 协议的配套 Token 编解码组件 deepseek-recipe。
如果把大模型比作一份写明了配料和步骤的“菜谱”，那么推理框架就是餐厅后厨的出餐调度系统。菜谱决定了菜品的能力上限，而调度系统则决定了在订单暴增时，灶台如何分配、几百个订单如何同时出餐以及燃气成本有多低。 DeepSeek 此次将自身线上服务所依赖的推理框架对外开放，旨在分享其在大规模云服务部署中的工程经验，帮助行业降低算力开销和能源消耗。
本次开源的 DeepInfer 是支撑 DeepSeek 高吞吐、低延迟大规模服务的基础设施。它集成了高性能算子与优化引擎，涵盖了分布式推理、结构化输出、CPU与GPU异步调度以及 MoE（混合专家模型）专家负载均衡等多项核心技术。在推理提速方面，框架融合了名为 DSpark 的投机解码技术，通过轻量级模块先预测多个候选 Token，再由大模型成批验证，并结合置信度进行动态验证调度，显著提升了生成速度。同时，针对长上下文场景，DeepInfer 采用了滑动窗口注意力有界重放（SWA Bounded Replay）机制，仅对必要的历史片段进行有限重算，大幅降低了重复计算带来的算力开销。
与推理框架同步开源的 deepseek-recipe 则解决了大模型私有化部署中的另一个常见痛点——接口逻辑对齐。企业在自主部署开源模型时，常常因为提示词拼接、特殊 Token 处理或工具调用解析上的微小差异，导致自建服务与官方 API 的回答行为不一致。deepseek-recipe 作为一个生产级的 Token 编解码组件，提供 Python 和 Rust 版本，能够将主流 API 协议高效翻译为模型可读取的输入，并精准解析思考过程与工具调用，确保社区开发者在自建部署时能获得与官方 API 一致的体验。
在硬件兼容性方面，DeepInfer 的一大亮点是同时原生支持英伟达数据中心显卡（如 Blackwell 系列）与华为昇腾芯片（如昇腾 950）。通过底层编译工具 TileLang 及算子库的跨平台适配，英伟达 GPU 与国产 NPU 被放在了同等的优化位置，使相同的调度方案与算法引擎能够直接运行在国产算力平台上。这降低了国产芯片在软件生态和调度优化上的门槛，为企业在不同硬件架构上部署大规模推理服务提供了统一的选择。
根据技术报告披露的数据，在 DeepInfer 的支撑下，DeepSeek 单一集群日服务吞吐量达到了 155 万亿 Tokens，在极高缓存命中率和低延迟要求下，展现出了极高的工程调度效率。不过，对于想要直接拿来使用的开发者而言，也需要理清本次开源的交付边界。目前 DeepInfer 主要开放的是离线推理引擎和核心算力调度的能力，并优先支持了 V4.1-Flash 等模型。而像完整落盘的 KV 缓存存储系统、读写拆分的预填与解码（Prefill/Decode）分离部署、以及跨副本的负载均衡等与底层云基础设施深度耦合的组件，尚未在此次版本中完整开放，开发者搭建完整的线上在线服务仍需自行补齐相关的运维与网络基础设施。
DeepSeek 将原本不外传的线上推理框架与工程经验摊开，打破了“模型开源、框架闭源”的行业传统。从模型权重、底层算子、编译工具到如今的推理框架，全栈式的开源不仅降低了中小团队和云服务商部署高并发 AI 服务的门槛，也推动着大模型行业从单纯的“卷模型参数”转向“卷工程效率”。这种技术经验的扩散，有助于整个 AI 产业链降低算力成本与能源消耗，让更低成本的智能服务普及到更广泛的应用场景中。
