Kimi K3.1 Pro 开源了:1.56TB 的权重,普通开发者搬不动

源自28位全网作者

12:38

11 月 4 日,Kimi K3.1 Pro 的权重在 Hugging Face 上线。 权重一共 96 个分片,约 1.56TB。微博知乎

按分数,它确实是目前可下载模型里最强的。AA 发布当天给了 55 分、全球第四,并说权重放出后它就是开源第一。 10 月底,AA 把指数升到 v5,同一个模型现在显示 46.5 分,仍比此前最强的开源模型 DeepSeek V4.1 Flash 高约 14 分。 榜会换尺子,1.56TB 不会。Artificial Analysis知乎

有人在网上自嘲:太好了,终于能在那台 2.3 万美元的 Mac Studio 上部署了,每秒 0.1 个 token。

玩笑归玩笑,这个问题值得认真回答:普通开发者能直接本地部署吗?不能。不是你的显卡不够快,是根本装不下。

Kimi K3.1 Pro 是个 MoE 模型,总参数 2.8 万亿,每个 token 只激活 1040 亿。 很多人看到“激活 1040 亿”就以为它跟一个 100B 级的模型差不多,八张 H100 总能试一试。但 MoE 省的是算力,不是显存。896 个专家一个都不能少,官方配方里它们全部得常驻显存;推理时再按路由把 16 个专家调出来。 104B 只决定它算得多快,2.8T 决定它占多大地方。知乎SGLang

而且它已经压到地板了。权重是 MXFP4 量化感知训练出来的,1.56TB 除以 2.8 万亿,平均每个权重约 4.5 bit。 你没法像用小模型那样,量化一下塞进一张 4090——1.56TB 已经是压缩后的体积。知乎

算笔账:一张 4090 24GB,光装权重就要六十多张。8 张 H200 的显存加起来,还没有这 1.56TB 大;8 张 B200 也差一点,连权重都装不满,更别说 KV cache。要到 8 张 B300(2.3TB)这一级,才留得出余量。按美元报价估算,这套硬件的成本约 55 万到 65 万美元。 这不是“开发者设备”,这是一个小型机房。知乎

官方配方也印证了这一点。vLLM 的默认配置是 8 张卡,两个 GB300 托盘,或者一台 B300 节点。 SGLang 的配置表里,B300/GB300 是 8 张,B200/GB200 要 16 张,H200 要 16 张,H100 要 32 张。 换句话说,8 卡 H100 不是“慢一点”,是连权重都放不下。vLLMSGLang

所以,“开源”对普通开发者到底改变了什么?

先看许可证。严格说,这次开放的是权重和推理代码,不是训练数据,也不是一套能让你从头复现的配方。这份许可证的主体是 MIT 式的:可以商用、修改、分发、微调,只有两条额外限制——做模型即服务且连续 12 个月营收超过 2000 万美元,要另签协议;产品月活过 1 亿或月收入过 2000 万美元,要在界面上标注模型名。 内部使用和走官方 API 不受限制。对中小团队,基本等于没限制。知乎

再看价格。K3.1 Pro 的 API 输出价从上一代每百万 token 100 元降到 68 元,输入从 20 元降到 13 元。 国际站是每百万输入 2 美元、输出 10 美元、缓存命中 0.2 美元。 权重公开后,第三方托管大概率会更卷。小红书Artificial Analysis

这才是普通开发者能拿到的部分:你未必能把它装进机箱,但你能用更便宜的价格调用它,能换一家供应商,能拿权重去核对厂商的跑分,也能在数据不能出内网时,认真算一算私有化部署的账。

至于本地跑——当然有人能跑。但那已经不是“普通开发者”的桌面,而是机房里的一排机柜。对大多数人,最现实的“本地部署”,是等一个更小的蒸馏版,或者干脆承认:API 就是你的本地。

能下载,是权利;能跑,是预算。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章