2026年10月20日,DeepSeek 把支撑自家线上服务的推理框架 DeepInfer 和配套的 Token 编解码组件 deepseek-recipe 一起放进了开源社区,并同日发布技术报告,罕见地公开了一组生产账本:目前单一集群的服务吞吐是 155 万亿 Tokens/天,整体收入为每卡每小时 38 美金(按谷价)。知乎这套框架同时兼容英伟达与华为昇腾芯片。36氪数字冲上热搜,但它其实是一份需要三把钥匙才能读懂的账:绝大部分 token 压根没重算,38 美元是收入而不是利润,而这次开源里最值钱的部分恰恰没给全。
155 万亿怎么来的:96% 不用重算
第一把钥匙是口径。Token 吞吐记的是“服务量”,不是纯算力:在 DeepSeek 的线上服务里,一次请求平均带着 7.7 万个 token 的输入,其中 96% 是之前算过的,直接从缓存里取,不用重算。知乎这在 agent 场景里是常态:一个任务前前后后调几十次工具,每一轮都要把系统提示、工具说明和全部历史对话从头重发。同样的模型权重,算没算过,卖的是两个价:缓存命中输入的售价只有未命中的五十分之一。36氪换句话说,155 万亿里有相当一截是“顺手”交付的旧内容,把它当成 155 万亿次新计算,会严重高估这套集群的算力规模。
真正值钱的是那池缓存
同一张卡做 Prefill,不算缓存命中,每秒处理 6 万个 token;把命中的也算上,每秒 150 万个,差了 25 倍。知乎撑起命中的是一池专用存储:官方报告写明,KVCache 放在独立的 3FS 集群里,约 100 PiB 全固态,agent 流量缓存保留 3 天、聊天流量保留 7 天。知乎这个留法相当激进——按机器之心统计,Anthropic、OpenAI 等服务的缓存保留大多只有 5 分钟到 24 小时。36氪缓存不跟推理机绑死、而是放进公共池,任何 prefill 机器都能命中任何前缀,负载均衡和前缀亲和就不再互相打架。
引擎侧还有一串抠算力的细节:DSpark 投机解码按候选 token 的预计接受率做变长验证,官方报告称相比固定验证 5 个 token,在线上部署场景吞吐提升 6%。知乎加上异步调度让 CPU 排班与 GPU 计算重叠、滑动窗口缓存缺失时只重算最近 128 个 token 的近似回放,这些堆出来的用户体验是:线上平均首字延迟 400 毫秒,生成速度 230 token/秒,写代码时能到 300。微博
38 美元:是收入,利润是外界估的
第二把钥匙在价签上。这个数字要带着两个前提看:一是收入,不是利润;二是按空闲时段价格算的,而空闲价正好是高峰价的一半。知乎至于赚钱程度,目前只有外部推算:有人假设每张 B300 每小时租金 7 美元,算出毛利率约 82%。36氪DeepSeek 没有公开单集群的卡数与自持成本,这类数字只能当参考方向;但方向是清楚的——只要卡不闲着,低价 API 和体面的毛利可以同框。
开源了发动机,图纸留了一半
DeepInfer 以 Apache 2.0 发布,本次开源版提供的是离线推理,当前支持 DeepSeek-V4.1-Flash。GitHub而 README 同时写明,搭一套完整线上服务还缺三样:KVCache 系统、视觉编码与 Prefill/Decode 分离部署、跨数据并行副本的负载均衡。36氪这三样,正是产出 96% 命中率和 50 倍价差的地方。官方部署问答也给出了门槛:要跑得划算,起步就是 64 卡 Prefill 加 64 卡 Decode。知乎说直白点:开源的是一台调校到位的发动机,没开源的是那池 100 PiB 的缓存和让它值钱的调度。引擎各家可以 clone,命中率却吃流量——前缀越集中、调用越密集,缓存才越值钱,这 155 万亿本身就在这道门槛外面。
时间点与能立刻用上的部分
开源当天一起放出的 deepseek-recipe 走 MIT 协议,它的处理逻辑和官方 API 完全对齐,第三方部署团队拿去就能得到跟官方一致的接口行为。知乎
时间线上,10月19日,美国国土安全部宣布禁止美联邦政府民事行政机构采购中国人工智能企业深度求索及其关联企业开发的产品和服务,并要求从相关机构的信息系统中移除相关产品和服务;次日(北京时间20日),DeepSeek 放出了这套核心基础设施。微博商务部新闻发言人就此表示强烈不满、坚决反对。微博两件事之间的因果关系没有可靠证据,但方向是明确的:官方已承诺,新模型的推理代码及后续性能优化会持续放进 DeepInfer。知乎模型权重之后,推理基础设施这层竞争正在被彻底摆上台面。
对普通调用者,155 万亿最直接的投影其实很简单:上下文越长、agent 用得越勤,命中缓存的部分越多,那部分输入价只有未命中的 1/50。对同行,这份账本给出的是一个可对照的基准线:卡时收入做到了什么水平、命中率靠什么堆起来、哪些部分至今不卖。