10月20日下午，DeepSeek把自家线上跑DeepSeek-V4.1-Flash的推理框架DeepInfer开源了，连同生产级Token编解码组件deepseek-recipe和一份把集群架构、并行策略、缓存设计讲透的部署Q&A。 这是DeepSeek继模型权重、TileLang编译工具和推理算子库之后，第一次把"服务是怎么跑起来的"这一层摊开。但对照标题里的"横向对比"，先把最容易被误读的结论说清：DeepInfer不是又一个用来替换vLLM的通用框架。当前公开版本只支持V4.1-Flash一个模型，只支持英伟达SM100（Blackwell）和华为昇腾950两类硬件，提供的是离线推理；撑起官方服务的KVCache存储与负载均衡组件，官方明确因与内部基础设施耦合较深，暂未完整开源。 多数个人开发者和小团队，默认选择仍然是vLLM和SGLang；DeepInfer真正改变的，是有Blackwell或昇腾集群、想大规模部署V4.1-Flash的厂商的成本账，以及第三方API的供给格局。知乎知乎
至于"实测"，需要先把口径钉死：发布当天能拿到的数字全部来自官方生产环境披露和README自测图，还没有第三者在统一硬件、统一并发下做出的跨框架横评。生产集群吞吐和单机跑分是两回事，下面的每一个数字都按这个前提来读。
官方放出的生产数据，哪些能信、怎么用
DeepInfer最硬的背书是规模：官方称基于这套框架，V4.1-Flash单一集群服务吞吐达到每天155万亿token，整体收入每卡每小时38美元、按谷价计算。 这组数字值得引用，但不能按字面理解——38美元是收入不是利润，集群卡型、卡数都没有公开，无法反推单token成本，更不能直接拿去和别家的报价比。知乎知乎
官方部署实践帖披露的线上运行数据（单卡口径，机器已预留冗余度）：prefill阶段每卡吞吐6万token/s（不含缓存命中）、含命中时达150万token/s，平均输入缓存命中率96%，首字时延（TTFT）平均400ms、P99约1000ms，平均输入长度7.7万token；decode阶段每卡吞吐1.4万token/s，吐字速度230token/s、代码场景约300token/s，实际部署P:D接近1:1。官方Q&A同时给出并行配置：prefill用EP2到EP8、常见8卡单机即可，decode用EP64到EP128的宽专家并行、64至128卡超节点，KVCache不活跃后保存72小时。知乎
投机解码DSpark采用变长验证：草稿一次生成5个token，由Confidence Head预测每个的接受率，只验证有效吞吐最大的前缀子集，官方称线上部署中每步验证的草稿数从5.00降到3.2至4.4、平均接受长度基本不变（3.29对3.20），生产运行点折合吞吐提升约4%至7%。 官方文章给出的线上口径则是：相比于固定验证5个token，变长验证在线上部署场景吞吐提升6%。知乎知乎
V4.1的滑动窗口注意力层引入SWA Bounded Replay：缓存未命中时不再逐层精确重建整个窗口，而是只重算最近128个token、把注意力窗口截断在重算段内，重算代价降为与上下文长度和层数无关的常数。 这是拿窗口内KV的近似值换算力：官方称总prefill计算量近乎减半，README里对应配置为DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140。知乎知乎
KVCache落在独立的3FS存储集群：约100PiB SSD、峰值聚合读带宽10TiB/s，agent流量保留3天、chatbot流量保留7天，滑动窗口缓存命中率98%以上；MoE负载均衡上，官方实测负载不均衡度moe_lb（最慢rank与均值之比）在prefill为1.03至1.06、decode EP64部署为1.090。知乎
把这些放在一起看，DeepInfer省钱的逻辑是模型与推理系统联合设计的结果：跨层共享KV、FP4专家权重加FP8激活、每个token的KV压到1KB以下，引擎只是把这些结构收益吃干净。 不跑V4.1-Flash这类结构的部署，复制不了同样的曲线。知乎
开源了一半：给的是什么，没给的是什么
按代码仓库和Q&A核对，这次开源的是"引擎实例"，不是整套服务系统。DeepInfer集成了分布式推理、推测解码、SWA Bounded Replay和结构化输出等能力，可在英伟达与华为昇腾平台上运行，此前开源的DeepEP、DeepGEMM、FlashMLA等组件被打包进来。 官方仓库也明确承认，它最初主要基于vLLM构建、同时借鉴了SGLang和TensorRT-LLM。 配套的deepseek-recipe可以单独pip安装，把Chat Completions、Responses、Messages三种API协议统一编解码，处理逻辑与官方API完整对齐，并在tokenizer层封堵special token注入——第三方部署第一次有机会复现和官方一致的输出行为，而不再是"同一份权重、自己调总差一口气"。知乎知乎知乎
没开源的部分同样关键：Prefill/Decode四类负载均衡器、PD动态扩缩容、3FS这套KVCache存储系统都只在Q&A里讲了设计，想把DeepInfer直接变成在线服务，这几块要自己补。 另外社区读码提到其Batch-Invariant确定性输出功能目前仅支持NVIDIA路径，且要求关闭变长推测解码。知乎知乎
和主流框架横向摆开：谁覆盖什么
DeepInfer | vLLM | SGLang | TensorRT-LLM | llama.cpp | |
|---|---|---|---|---|---|
模型覆盖 | 仅DeepSeek-V4.1-Flash（承诺新模型持续开源） | 最广，新模型day-1支持是常态 | 广，主流开源模型跟进快 | 以NVIDIA平台适配模型为主 | GGUF生态，端侧/消费级模型海量 |
硬件 | 仅SM100（Blackwell）、昇腾950 | NVIDIA多代+AMD等 | 以NVIDIA为主 | NVIDIA数据中心卡 | CPU、消费显卡、Apple Silicon |
在线服务 | 当前版本仅离线推理 | 生产级在线服务成熟 | 生产级在线服务成熟 | 支持，NVIDIA官方栈 | 轻量服务 |
差异化能力 | DSpark变长验证、SWA Bounded Replay、与官方API对齐的recipe | PagedAttention、社区生态 | RadixAttention前缀缓存，多轮/Agent场景强 | 低精度与编译优化榨干NV卡 | 零门槛本地跑 |
上手门槛 | 高：单模型、卡型受限、缺在线组件 | 低 | 低 | 中高 | 最低 |
这张表决定了选型的真实分界：vLLM和SGLang在10月18日刚发了0.32.0版本，新模型落地速度仍是它们的主场；DeepInfer的价值不在通用性，而在"同一个团队设计模型和引擎能简化到什么程度"的参照实现。
按场景给答案：你该用哪个
只是API用户：这次开源对你没有直接操作项，但会间接影响账单。此前云厂商不太愿意大规模供给DeepSeek模型——权重虽是公开的，可以任你部署，但自部署怎么调都做不到官方API的价格和服务质量。 现在引擎加上与官方对齐的编解码组件，第三方自部署第一次能宣称"原汁原味"，量化降智的顾虑被正面拆掉，中转站靠魔改引擎赚差价的模式承压，V4.1-Flash类模型的第三方供给价格大概率会更卷。新浪微博哔哩哔哩
个人开发者、手头是H100/H800/A100或消费卡：DeepInfer的支持列表里没有你的卡，想本地跑V4.1-Flash，现阶段等vLLM、SGLang的社区适配更实际；轻量验证用llama.cpp，正经服务用vLLM或SGLang。
有Blackwell或昇腾集群、要大规模部署V4.1-Flash的厂商：这是DeepInfer的目标用户，前述prefill单机8卡、decode 64至128卡超节点的配置就是官方给出的参照模板，V4.1压缩KVCache后P/D跨机房部署在技术上也已可行。昇腾与英伟达在同一引擎里是一等公民、走两条硬件抽象路径，对国产算力采购是实质利好：以前国产芯片跑DeepSeek新模型靠厂商自己维护框架分支、跟在后面追，现在只剩硬件本身和算子实现质量的差距。 但兼容某种硬件不代表跨平台性能已经一致、迁移没有成本，这仍待独立验证。知乎知乎
推理引擎研究者：精华可能在那份Q&A而非代码本身——按compute-quota分四档桶的路由、不做前缀亲和靠共享池兜底、冗余专家动态重排、GDR换入与前向重叠，这些线上验证过的工程决策在公开资料里是稀缺品。
边界与观察信号
截至10月20日发稿，DeepInfer与vLLM、SGLang还没有统一口径的第三方对比数据，README附的两张Pareto图（V4.1-Flash、131K上下文）是引擎自测，不构成跨框架结论。 判断这次开源是否兑现"普惠"，后续盯三件事：社区能否把Bounded Replay、DSpark移植回vLLM/SGLang；仓库是否扩展到多模型、补上在线服务组件；昇腾路径的性能数据能否对齐英伟达。在它补齐之前，"谁更适合你"的答案没有变：跑DeepSeek自家新模型的大集群看DeepInfer，其余场景，vLLM和SGLang依然是标准答案。知乎
