什么值得买App下载 App ›
连续签到专享现金活动

闭源护城河守不住,本地 AI 的门槛降了多少:能跑,不等于跑得起

一张 12GB 显卡,先别急着欢呼

一台 12GB 的 RTX 3060,配 46GB 内存和 NVMe,能把 552B 的 DeepSeek-V4.1-Flash 跑起来。2-bit 量化,9—11 tok/s,硬盘留 245GB。过去,这个量级还要 8 卡 A100/H100。知乎知乎

但另一组数字更刺眼:8GB 内存跑 2.78 万亿参数的 Kimi K3,硬盘要 1.7TB,一个 token 等半分钟。条件补齐后,这只是把进程限制在 8GB,机器本身是 124 核 EPYC、228GB 内存的服务器,生成一个 token 要 32.69 秒。36氪

门槛不是一道门,而是三道:能不能装下、能不能用得动、划不划算。第一道塌得最厉害,第二道松了一点,第三道几乎没动。

第一道:能不能装下

8GB 显存能装 7B,16GB 能跑 9B—14B,24GB 才进 27B;120B 通常要 80GB 以上显存或大容量统一内存。36氪

真正意外的是“越级”。12GB 的 3060 能跑 552B,靠的不是显存变大,而是模型架构和推理引擎把权重拆成显存、内存、固态三层,按 token 路由,只读当前用到的专家。代价是硬盘和带宽:245GB 起步,速度掉到个位数到十几 tok/s。知乎

从 8 卡集群到一张 12GB 显卡,再到一台 128GB 统一内存的机器,门槛确实降了一个数量级。

第二道:能不能用得动

“装下”和“用得动”是两回事。12GB 的 3060 跑 552B,9—11 tok/s,聊天要等;作者自己的评价是:10 tokens/s 姑且算能跑,速度属实差点意思。知乎

更隐蔽的门槛在上下文。一个 33B 稠密模型标称 512K 上下文,但在 A100 80GB 上,64K 就 OOM,跑满 512K 要 4 张 80GB A100。开源旗舰也一样:Mistral Large 4 的 1T 权重,AWQ INT4 量化后双卡 4090 能跑,但 128K 上下文不实用,工程上建议限在 32K;开源免费不等于部署免费。知乎知乎

开发者社区里,Qwen 3.6 35B-A3B 和 27B 最常被提到;27B—35B 已经够日常编码、摘要和客服用了。知乎

第二道门槛降的是“启动”,不是“生产力”:16—24GB 显存能舒服跑 14B—32B,再往上要么加卡,要么在降智、降上下文、降速度里三选一。

第三道:划不划算

DeepSeek 公开过一组很坦白的数:按谷价算每卡每小时 38 美元,一张卡一个月约 2.7 万美元。这是云厂商的账,不是个人开发者的账。36氪

开源模型的“单价便宜”也容易骗人。Kimi K3.1 Pro 的 token 价格只有 GPT-6 Astra 的五分之一,但单任务成本是 2.11 美元对 3.26 美元,只省了约 35%。因为它跑完整套 IntelligenceIndex 要输出约 1.5 亿 token,同价位中位数是 8700 万。36氪

梁文锋自己也说,开源不等于别人能轻易做到一样的部署成本。微博

护城河塌的是哪一段

DeepSeek 这次开源的不只是权重,还有线上在用的推理框架 DeepInfer,Apache 2.0,能在英伟达和国产算力平台上跑。但 KVCache 管理和负载均衡组件没有完整开源。36氪知乎

过去 MaaS 厂商开放权重、保留推理框架,官方框架和编码组件正是“官方部署 vs 社区部署成本差异最大”的系统层原因。DeepSeek 把这段让出来,等于把“怎么把模型跑便宜”这本账摊到了桌面上。微博

但前沿能力没有免费:Artificial Analysis 的 v5 指数里,已开放权重的 DeepSeek V4.1 Flash 1017 和 GLM 5.3 排第 14、15,低于 Claude Haiku 5.5。知乎

也有反方:Nathan Lambert 提醒,开源模型的衰落被夸大了,一把尺子难以衡量不同场景。所以,“闭源护城河守不住”对权重和推理工程成立,对前沿能力还没成立。知乎

回到开发者

14B—32B 的日常任务,16—24GB 显存够用;552B 的模型,12GB 能启动,但 9—11 tok/s、245GB 硬盘,离替代 API 还很远。

门槛降了,降的是入场费,不是使用费。先把显存、上下文、token 效率三笔账算清楚,再决定要不要把 API 账单换成电费账单。

评论

评论区空态插画

当前文章无评论,是时候发表评论了