10月20日下午，DeepSeek官宣将支撑其线上服务的大规模云服务推理框架DeepInfer全面开源，兼容英伟达与华为昇腾芯片，并同步放出生产级Token编解码组件deepseek-recipe。 官宣里还罕见地带上了自己的生产数据：单一集群服务吞吐每天155万亿Tokens，整体收入每卡每小时38美金（按谷价计）。 但流传中"零基础也能一键运行"的说法，对照开源仓库今天并不成立——放出来的是服务大规模生产环境的推理引擎，本次提供的是离线推理能力，消费级显卡根本不在硬件名单里。36氪知乎GitHub
部署步骤是真的，硬件门槛也是真的
仓库README给出的路径完整清晰：准备Linux、GCC 13以上、Python 3.12，按加速卡装CUDA 13或CANN 9.2；克隆代码后先建一个空的Python 3.12环境，执行build.sh从源码编译——目前没有pip预编译包可一键安装。 编译完成后运行examples/offline_inference.py即可做单次推理，首次会自动拉取DeepSeek-V4.1-Flash-1017的模型权重，也可以指定本地权重路径。GitHub
但这些步骤对零基础用户意义有限，因为第一道门槛是硬件：开源版的支持列表里只有NVIDIA SM100 GPU和华为昇腾950 NPU两类数据中心级芯片，前者对应B200/GB200一类的数据中心产品。官方性能基准同样用prefill 4张、decode 64张SM100卡测得，且都要求在同一高速互联域内完成。GitHub
开源的是引擎内核，还不是完整服务
这次放出的内容有明确针对性：模型侧目前仅支持DeepSeek-V4.1-Flash，能力覆盖优化算子、模型与采样器运行时、分布式并行、DSpark推测解码、SWA Bounded Replay、异步调度与结构化输出。 其中推测解码采用变长验证，线上部署场景下吞吐相比固定验证提升6%。GitHub知乎
而完整跑起一个对外提供API的推理服务，还需要KVCache缓存系统、Prefill/Decode分离、跨数据并行副本的负载均衡三样东西，README明确它们不在本次开源版本之内，官方文章也解释KVCache管理与负载均衡组件因与内部基础设施耦合较深，相关代码目前尚未完整开源。 换句话说，用开源代码可以在自己的集群上复现引擎内核的推理能力，但复刻官网同款的整套在线服务，仍要自行补齐服务层。GitHub知乎
这次开源真正改变的是什么
对持有GPU集群的第三方服务商，同步开源的deepseek-recipe可能是比框架本身更实用的一块：它负责API协议与token序列之间的编解码，官方称其处理逻辑与DeepSeek官方API完整对齐，让第三方部署获得与官方部署一致的API体验。 这意味着第三方自部署过去常被质疑的量化、分词差异导致"降智"问题，第一次有了源头对齐的生产级方案。知乎
对已经用vLLM、SGLang搭服务的团队，DeepInfer也不是从零学习的新栈：README的致谢部分写明，它最初主要基于vLLM构建，并借鉴了SGLang和TensorRT-LLM。 区别在于对自家模型的专项优化：想深度适配、极致压榨DeepSeek V4.1吞吐的，可以考虑从vLLM切换到DeepInfer。 通用场景下原有开源方案仍然可用；需要注意的是，batch-invariant推理和确定性采样这类功能目前仅支持NVIDIA一侧，且确定性采样还要求关闭可变长度推测解码。GitHub知乎
接下来盯什么
对零基础用户，今天最现实的路径依然是直接用官方API，或等社区基于这套代码产出更成熟的开箱集成。官方表示，DeepSeek新模型的推理代码及后续性能优化都将在DeepInfer中持续开源，框架本身采用Apache 2.0协议发布。 消费级硬件支持、预编译包、服务层组件补全——这三个信号何时落地，才决定DeepInfer能不能真正"一键运行"。知乎GitHub
