2.8万亿参数塞进老服务器,代价是每秒1.5个词元

一台没插显卡的旧服务器,跑起了 2.8 万亿参数的 Kimi K3。靠的不是算力,是几块停产四年的内存条,和每秒 1.5 个词元的耐心。

610GB 内存,靠停产内存条凑出来

11 月 2 日,一位 Reddit 网友贴出了自家实验室配置:一颗 40 核的第三代英特尔至强可扩展处理器,内存全走傲腾持久内存 200 系列,单条 128GB 起、最高 512GB,推理软件用 llama.cpp,并把傲腾设成 App Direct 模式,让程序按地址直接读写这块持久内存,而不是交给系统当缓存自行调度。

非得这么凑的原因很实在:Kimi K3 是 2.8 万亿参数的混合专家模型,社区版做到最狠的压缩,权重仍要 610GB 以上内存才装得下,普通家用主板插满 DDR5 也凑不出这个数字。二手傲腾的单位容量价格只有常规内存的几分之一,在内存价格高企的当下,它是家用环境里少数能摸到 610GB 的路子。

MoE 让"算"变便宜了,"装"没有

Kimi K3 每生成一个词元,只激活约 1040 亿参数。这个数字决定了算力门槛:真正参与计算的权重只有百亿级,一台没有显卡的老机器也扛得住。

可没被激活的权重必须原地待命,一个字节都少不了。瓶颈于是从算力挪到内存容量,再挪到内存带宽,这也解释了为什么偏偏是这堆老硬件凑合成功——它容量大,带宽慢。

慢到什么程度,数据很直白:1 比特量化下初始约每秒 0.85 个词元,关掉直接访问(DAX)、让常用数据吃上 DRAM 缓存后升到每秒 1.5 个;换成 3 比特量化,又掉回每秒 0.75 个。

换算成日常就更不美了:一篇 800 字的回答大约 1200 个词元,每秒 1.5 个要写 13 分钟以上,这段时间机器干不了别的;按每秒 0.75 个跑 5 万个词元,需要 18.5 小时。

省下的内存钱,要在机箱里还回去

英特尔在 2022 年第二季度启动傲腾业务收缩,当季计提 5.59 亿美元库存减值,这条产品线没有下一代,今天能买到的多是二手拆机条。

便宜有便宜的账单:这一代傲腾单条功耗上限 18 瓦,介质温度到 83 摄氏度开始降频,85 摄氏度直接保护性关机;英特尔规格要求 2.4 到 2.7 米每秒的强制风冷,那已经是机房工况。发帖人自己在内存槽位旁装了两台 12 瓦涡轮风扇对着吹,还提醒说散热不足时,高温可能烤坏紧挨着的普通内存条。

能跑和能用,中间隔着每秒 1.5 个词元

看到这条消息,我第一反应是"本地大模型终于平民了",翻完配置才发现事情反着来。对照今天主流的家用配置就清楚:一张 RTX 5090 是 32GB 显存、1792 GB/s 带宽,70B 模型在任何常见精度下都装不进去,卡住它的是显存容量,32GB 就那么多。

这台傲腾机器正相反,装得下 2.8 万亿参数,却给不出能用的速度;两套方案的短板落在同一处,都是容量与带宽的乘积。

所以它更像一次边界测试,不是一份照抄清单。二手停产内存没有保修,散热失手坏的是主板和整机,省下来的钱要拿风险换。真要在自己电脑上跑模型,一张 32GB 显存的卡配够系统内存,7B 到 32B 的模型跑得又快又省心;而"为了跑最大的开源模型加内存"这件事,先算一下每秒能出几个词,再决定值不值。

它证明的事情其实很朴素:没有显卡也能跑 2.8 万亿参数,只要你肯把每句话的等待时间从毫秒换成分钟。你在本地跑过的最大模型是多大,跑起来之后真的用过它吗?

作者提示含AI生成内容。作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～