DeepSeek开源自家机房的"私厨":你跑不动,但API价格或要降

源自206位全网作者

11:23

10月20日,DeepSeek悄悄又开了一个GitHub仓库。这次放出来的不是模型,而是自家机房里那口"私厨"——推理框架DeepInfer,官方仓库已公开这个推理框架,采用Apache 2.0许可证。官方说法很直白:让智能以更低的价格,触达更广泛的人群。微博微博知乎

DeepSeek开源自家机房的

三天前,它刚发了新模型V4.1-Flash。版本号后缀长到被网友玩成"史上最差AI模型名称"的梗。很多人纳闷:权重不是早开源了吗?开源个框架算什么大事?微博知乎

大事就在"怎么跑"上。 权重是菜谱,推理框架才是炉灶、锅和火候。训练是一次性开支,推理才是天天烧的钱——同一个模型,官方API又快又便宜,你部署就又贵又慢,差距全在调度、缓存和压榨硬件的算子细节里。DeepInfer就是DeepSeek线上服务同款内核:FlashMLA、DeepGEMM、DeepEP这些过去一篇论文一篇论文挤出来的"祖传配方",如今被收进同一个框架里统一维护。官方部署问答里还写明,KV缓存要保留超过72小时,命中了就不重算。知乎知乎

DeepSeek开源自家机房的

官方这次顺带晒出的两个数字,足够让行业重新估价"推理"这门生意:单集群日均吞吐155万亿Token,单张GPU每小时收入38美金。 那个"AI推理就是烧钱"的老说法,被DeepSeek自己推翻了。知乎微博

DeepSeek开源自家机房的

对普通用户来说,这更像一封情书。以前云厂商不太愿意接DeepSeek的单:权重是给你的,可你怎么部署都做不到官方API那么便宜的价格,卖了就亏。现在工厂把内参直接交了出来,云厂商的成本能压下来,API价格就有了往下打的余地,最后落到你用AI写文案、生图、跑Agent、剪视频的账单上。微博有条160赞的热评说透了:“梁:帮你们把别家API价格打下来了奥,别打扰我们这炼模型。”微博

不过,先别急着冲,三盆冷水得泼明白:

一、你的显卡大概率跑不动。 官方支持列表只有两类卡:英伟达Blackwell(SM100)和华为昇腾950。要Linux、Python 3.12,从源码编译、没有pip一键装,手里的4090连入场资格都没有——“开源"不等于"家用白嫖”,这两个字别搞混。知乎

DeepSeek开源自家机房的

二、图纸只给了一半。 本次公开的是离线推理引擎为主,完整在线服务要的KV缓存系统、跨副本负载均衡,目前只有设计说明,没给全量代码。想直接复刻官方服务,还差最后一公里。知乎

三、它现在只支持V4.1-Flash一个模型。 而且刚上线的可用性挺糙,已有用户第一天就撞上429、403、503连环报错。想拿它跑生产的,先等版本稳一稳。知乎知乎

所以普通人该干嘛?不用换显卡,也不用学编译源码。最实际的动作是:接下来一两个月,多盯一眼各家API平台的定价页——价格战真打起来的那天,这次开源才会变成你手上的真金白银。

精选参考来源

1
【#DeepSeek全面开源DeepInfer#】#DeepSeek宣布开源推理框架#10月20日,DeepSeek表示,基于DeepInfer,已实现DeepSeekV4.1Flash高吞吐、低延迟的大规模推理服务。未来,DeepSeek新模型的推理代码及后续优化也将在此持续更新。(财联社)
2
🔻Deepseek 今天表示:🔹隆重推出 DeepInfer——我们的自研推理框架,现已全面开源!🔹以高吞吐量和低延迟大规模支撑 DeepSeek-V4.1-Flash。我们分享这一生产级技术栈,旨在帮助社区降低计算成本、减少能源消耗,让 AI 更加普惠。🔻目前,在 DeepSeek 技术栈中:🔹应用层 · DeepSeek Harness,8 月已开源🔹接口层 · deepseek-recipe,同日开源🔹模型层 · V4.1-Flash,权重开放🔹算子层 · FlashMLA / DeepGEMM / DeepEP / TileLang,已陆续开源🔹本次主角是引擎层 · DeepInfer,今日开源。🔻这意味着 DeepSeek 开放了生产环境推理引擎的“核心”。🔻模型权重开源已经是常态,而推理框架一直被认为是模型厂商保持竞争优势的环节。因为决定成本的不只是用什么模型,还包括一套机器能同时接入多少请求、缓存能复用多少、卡和卡之间通信怎么协调。官方口径是单集群一天 15.5 万亿 token、平均 TTFT 约 400ms、输入缓存命中率 96%、每卡每小时收入约 38 美元。开源框架,实际上是把“成本曲线”本身开源了,这比开放一组权重对行业的实际影响更大。batch-invariant 推理和确定性采样(同批次组成下结果逐位一致)这类特性,对 RL 训练和线上结果审计有额外价值,这套实现最后很可能被上游社区大量借鉴。🔻同时支持 NVIDIA 和华为昇腾,昇腾 950 和 NVIDIA SM100 被放在同一份官方支持列表里,使用同一个引擎、同一套算法,TileLang 定制算子两边各约 30 个一一对应,DeepGEMM/DeepEP 都有 Ascend 版本。以前国产卡跑 DeepSeek 新模型,基本是芯片厂商自己维护 vLLM/SGLang 的分支,性能始终落后一步;现在这个差距被压缩到“硬件本身和底层算子质量”。对国产算力的影响可能比技术本身更深远。🔻开源 vs 闭源之战,它们想打多久,我们就打多久,一直打到完全胜利。#DeepSeek全面开源DeepInfer##热点聚焦#
全部
来源
内容由AI生成

精选参考来源

1. 【#DeepSeek全面开源DeepInfer#】#DeepSeek宣布开源推理框架#10月20日,DeepSeek表示,基于DeepInfer,已实现DeepSeekV4.1Flash高吞吐、低延迟的大规模推理服务。未来,DeepSeek新模型的推理代码及后续优化也将在此持续更新。(财联社)

2. 🔻Deepseek 今天表示:🔹隆重推出 DeepInfer——我们的自研推理框架,现已全面开源!🔹以高吞吐量和低延迟大规模支撑 DeepSeek-V4.1-Flash。我们分享这一生产级技术栈,旨在帮助社区降低计算成本、减少能源消耗,让 AI 更加普惠。🔻目前,在 DeepSeek 技术栈中:🔹应用层 · DeepSeek Harness,8 月已开源🔹接口层 · deepseek-recipe,同日开源🔹模型层 · V4.1-Flash,权重开放🔹算子层 · FlashMLA / DeepGEMM / DeepEP / TileLang,已陆续开源🔹本次主角是引擎层 · DeepInfer,今日开源。🔻这意味着 DeepSeek 开放了生产环境推理引擎的“核心”。🔻模型权重开源已经是常态,而推理框架一直被认为是模型厂商保持竞争优势的环节。因为决定成本的不只是用什么模型,还包括一套机器能同时接入多少请求、缓存能复用多少、卡和卡之间通信怎么协调。官方口径是单集群一天 15.5 万亿 token、平均 TTFT 约 400ms、输入缓存命中率 96%、每卡每小时收入约 38 美元。开源框架,实际上是把“成本曲线”本身开源了,这比开放一组权重对行业的实际影响更大。batch-invariant 推理和确定性采样(同批次组成下结果逐位一致)这类特性,对 RL 训练和线上结果审计有额外价值,这套实现最后很可能被上游社区大量借鉴。🔻同时支持 NVIDIA 和华为昇腾,昇腾 950 和 NVIDIA SM100 被放在同一份官方支持列表里,使用同一个引擎、同一套算法,TileLang 定制算子两边各约 30 个一一对应,DeepGEMM/DeepEP 都有 Ascend 版本。以前国产卡跑 DeepSeek 新模型,基本是芯片厂商自己维护 vLLM/SGLang 的分支,性能始终落后一步;现在这个差距被压缩到“硬件本身和底层算子质量”。对国产算力的影响可能比技术本身更深远。🔻开源 vs 闭源之战,它们想打多久,我们就打多久,一直打到完全胜利。#DeepSeek全面开源DeepInfer##热点聚焦#

3. DeepSeek又开源了:这次交出推理引擎

4. 日本网友快要瘫坐在地上了,称今天新发布的Deepseek新模型会摧毁全球AI格局。美国的AI模型就是傻乎乎地囤积计算资源,用蛮力解决问题。

5. 如何评价DeepSeekV4.1Flash1017登顶「史上最差AI模型名称排行榜」?

6. DeepSeek DeepInfer 详解:把生产级推理引擎开源了,但你的卡可能跑不了

7. DeepSeek 官宣单集群日均吞吐达 155 万亿 Token,单卡每小时收入 38 美金;SpaceX 单季营收大增 161%;三星研发 24 小时工作机器人|早报 20261022

8. 梁圣刚刚开源了DeepSeek的推理框架,这个对供给市场是很大的利好,之前DeepSeek的模型有个问题是,虽然本身是开放权重的,可以任你部署,但你部署后怎么调都做不到官方API那么便宜的价格,这让很多云厂商不太愿意卖DeepSeek的模型,因为竞争不过DeepSeek自己的API渠道。现在DeepSeek把私藏的内部推理框架DeepInfer也挂到GitHub去了,而且明确说了这个东西就是DeepSeek实现模型定价效率的关键,属于自己出血给市场补贴了,品格高尚。按DeepSeek在知乎发的技术解释,这个推理框架帮助自己拿到了每卡每小时38美金的收入,横向对比,B200的租金回报率是每卡每小时10美金左右,还是那句话,这是DeepSeek写给云厂商的一封炙热情书。

9. DeepseekV4.1Flash1017在Opencode上线了吗?

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章