什么值得买App下载 App ›
连续签到专享现金活动

Kimi开放2.8T权重,本地部署需千万

Kimi K3 开放了 2.8 万亿参数的权重,听起来是免费的午餐,但普通电脑连权重的零头都塞不下。想自己跑起来,最少得掏 700 万买显卡,官方推荐的 64 卡超节点配置更是 2560 万起步,算上机房和电费,前期投入直接干到两辆劳斯莱斯幻影的钱。这就引出了最近吵翻天的疑问:下下来跑不起,这算哪门子开源?其实月之暗面从头到尾没用过“开源”二字,官方说法是“开放权重”——给你成品菜,但没给菜谱和食材。
自己跑不动,到底谁在跑?
这 2.8 万亿的模型全精度权重约 5.6TB,即便极度压缩到 4-bit 量化也需要 1.4TB 显存。家用电脑顶配显卡也才 24GB 显存,连门槛的零头都够不上。哪怕是两台 8 卡高端加速卡集群(成本 700 万起步),也只能勉强摸到边。官方推荐档的 64 张 B200 光显卡就要 2560 万,普通居民楼的地板都扛不住这重量,还得专门建机房配液冷。所以这模型压根不是给个人准备的,真正的接盘侠是云厂商、推理服务商以及有数据不出网强需求的金融、政务机构。对 99% 的个人和中小团队来说,老老实实调 API 才是唯一解。
成品菜加灶台,算不算真开源?
争论的核心在于概念混淆。按国际开源促进会(OSI)的严苛标准,只开放权重参数、不公开训练数据和完整代码,无法从零复现,就不算真开源。这也是为什么网上吐槽 Kimi K3 是“伪开源”。但这次 K3 的开放确实比只扔个权重文件厚道得多——它把支撑训练的三项底层基建(通信库 MoonEP、算子 FlashKDA、沙箱 AgentEnv)也一并开放了,等于不仅给了成品菜,连炒菜的灶台和手法都交了底。不过,商业条款依然设了限:如果用 K3 做服务的公司年收入超过 2000 万美元,就得另行签约。
跑不起没关系,API 降价才是真红利
既然本地部署的入场券高达几千万,运维电费更是无底洞,那这波开放权重的意义在哪?答案在云端。顶尖模型开放权重,直接打破了闭源大厂的垄断定价权。云厂商可以基于开源模型提供更便宜的托管服务,第三方团队也能做量化蒸馏降本。对普通人来说,你不需要自己买显卡跑模型,但你能享受到因为开源竞争而大幅跳水的 API 价格。开源降的是模型获取门槛,没降显存门槛,它的红利不在本地部署,而在倒逼整个推理生态降价。
历史事件回溯
当前事件
大模型权重过大难部署引发开源定义争议
  • 开源争议:巨大权重致部署难,违背开源易用初衷
  • 部署门槛:需海量显存或多卡集群,个人开发者难企及
  • 权重规模:参数量达数百亿,权重文件体量超大
2024年7月
Llama3-405B发布,庞大算力需求惹争议
  • 开源争议:仅开放权重下载,被批算力垄断的伪开源
  • 部署门槛:至少需8张H100显卡,远超个人承受力
  • 权重规模:参数量高达4050亿,量化后模型仍极大
2023年9月
Falcon180B发布,巨量参数令开发者望洋兴叹
  • 开源争议:开放权重但无硬件可用,被指营销式开源
  • 部署门槛:需多张A100/H100显卡,极难本地运行
  • 权重规模:参数量达1800亿,FP16权重超360GB

评论

评论区空态插画

当前文章无评论,是时候发表评论了