11月5日,月之暗面把 Kimi K3.1 Pro 的完整权重放上了 Hugging Face,仓库没有访问门槛,下载不用申请、不用填表。这大概率是开源史上最大的模型:MXFP4原生权重切成96个分片,实测约1.56TB。知乎知乎知乎

本地部署圈一夜沸腾。欢呼之外,被问得最多的是那句老话:我家电脑能跑吗?先说结论:权重你真能下下来,但大概率跑不动。
先算一笔明账:一台真武M890超节点显存只有1.15TB,连1.56TB的权重都装不下;老章按近期招投标价整理了三档账单——两台16卡约820万到850万元,四台32卡约1600万元,八台64卡约3100万元,月之暗面官方建议64卡以上超节点部署。这账单是给金融政企的,跟卧室无关。知乎

但极客们还是动手了。B站UP主用XTier在单张RTX PRO 5000上首跑全量K3.1 Pro:配384G内存、6块NVMe,显存、内存和冷专家协同干活,实验配置下解码约10 token/s,UP主也把话说在前面——仅作实验探索,非生产力方案。哔哩哔哩
同一任务跟官方云端版对比,反而是API赢了。哔哩哔哩
kimi-k3-in-c 项目更狠:纯 C99 写的推理引擎从磁盘按需读权重,让2.78T的模型在8GB左右的内存预算下完成CPU推理。知乎
但别被「8GB就能跑」带偏:那份8.24GB的峰值驻留内存,出自一台124 vCPU的EPYC测试机,示例中生成8个token耗时261.5秒,平均32.69秒一个词。知乎
为什么家用机能对万亿模型「动心」?因为MoE:总参数2.8T,每个token实际激活的只有约104B,896个专家里路由器每次只挑16个。图书馆再大,一次也只搬几本书上桌面——权重体积决定门票,激活参数决定希望的上限。知乎知乎

那普通人怎么吃这波开源红利?三条实在建议:
别急着下满血权重。权重加预处理数据,建议预留约1.7TB存储。而阿里云灵骏M890超节点和昇腾CANN都已经宣布Day0适配。第三方的量化版、蒸馏版大概率很快会把体积打下来,到时候再下载,一次到位。知乎知乎知乎
商用前看清授权。许可证的线画得很明白:对外提供模型即服务、连续十二个月收入超2000万美元,要先和月之暗面单独签约。这次K3.1 Pro登陆微软Foundry走的就是分成模式,也是微软云首个分成模式开源权重模型。图「数据不出门」的企业用户,这笔法务成本要提前算。知乎知乎
捂紧内存和硬盘的预算。B站那个首跑实验的评论区,最高赞的感叹是「内存价格又上去了」。当下本地部署拼的不是谁的模型大,而是谁的显存带宽、存储速度和硬件账单更扛打。哔哩哔哩

2.8T权重开源的意义,本来就不是让你今晚在卧室跑起来,而是万亿级模型第一次可以被公开拆解——量化、推理引擎、蒸馏,一整串生态都会扑上来做减法。家用机真正等的红利在那一波。在此之前,最划算的动作,是先把下载按钮忍住。