DeepSeek开源推理框架DeepInfer:这次交出来的是把模型跑便宜的本事

源自127位全网作者

00:25

10月20日,DeepSeek 正式开源自研大规模云服务推理框架 DeepInfer。官方说明写得很直白:这个框架就是 DeepSeek 大规模生产服务的驱动引擎,此次放出的是支撑规模化服务的离线推理能力。官方同时表示,基于 DeepInfer 已实现 DeepSeek-V4.1-Flash 的高吞吐、低延迟大规模推理服务,未来新模型的推理代码及后续优化也将持续在这个仓库更新。与代码一起公开的还有一份"账本":单集群日服务吞吐 155 万亿 tokens,按谷价计算每卡每小时收入约 38 美元。GitHub微博第一财经

官方的定调是:分享这套生产级技术栈,帮社区降低计算成本、减少能源消耗,让 AI 更普惠。相比此前开源模型权重,这一次动的是离行业定价更近的一层。微博

过去没开源的那一层

权重人人可下,为什么大部分云厂商还在买 DeepSeek 的 API?有认证科技博主点破了账:模型虽然开放权重、任人部署,但部署后怎么调都追不上官方 API 的低价,卖 DeepSeek 模型的生意很多云厂商不太愿意做。症结在分层:模型决定能力上限,推理框架决定单位成本——请求怎么拼批、缓存能复用多少、卡与卡之间怎么协同,这一层直到今天都没开源过。微博知乎

边界同样清楚:开源了引擎,没开源完整在线服务

这次官方把线划得很明:放出来的是离线推理引擎,一套完整在线服务还需要 KV 缓存系统、Prefill/Decode 分离和数据并行副本间的负载均衡,三样都注明了本次不包含。开源本体按 Apache 2.0 协议发布,默认权重就是线上在跑的 V4.1 Flash,当前也只支持这一个模型。GitHub知乎

被开源的引擎本体里,最值得拿走的是工程细节。批不变推理与确定性采样做成了可开关的能力,同一请求无论和谁拼在一个批次里都逐位一致,目前仅英伟达平台生效,对评测回归与线上审计价值不小。推测解码 DSpark 用一个置信头预测每个草稿 token 的接受率,把验证算力优先分给收益最高的位置,线上每步实际验证数因此降到 3.2~4.4 个、约省三成,平均接受长度基本不变。GitHub知乎

昇腾与 SM100 并排,意味着什么

硬件清单值得单独看:官方支持列表里 NVIDIA SM100 与华为昇腾 950 并排写入,双平台一次开源到位。编译时只需切换一个环境变量选择后端,两家卡共用同一份调度代码。在此之前,国产卡跑 DeepSeek 新模型基本靠芯片厂商自己维护 vLLM/SGLang 分支,性能始终慢一步;现在最难铺的软件层被模型方铺好了。36氪知乎微博

门槛也被同一份材料摆了出来:官方基准显示 prefill 在 4 张 SM100 上就能打满,decode 需要 64 张,且各自都在单个 scale-up domain 内。KV 缓存与负载均衡因跟 DeepSeek 自家基础设施耦合太深,这次没放代码,只在技术报告和部署问答里讲了设计。所以把这次开源读成"交出了生产级执行内核和一份每天被验证的成本账"更准确,媒体把它的作用概括为"把智能的价格,打下来"。GitHub知乎36氪

AI 普惠能否从官方措辞变成账单上的数字,接下来要看的是各家补上那三块的速度。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章