用停产傲腾跑 2.8 万亿参数 Kimi K3:普通人能复刻吗?三道门槛比钱贵

源自215位全网作者

18:33

不靠显卡把 2.8 万亿参数的 Kimi K3 跑起来,不是概念演示:一位玩家用一台退役服务器,真的让它吐出了字。网友 u/IndividualSurvival 于 11 月 2 日在 Reddit 社区发帖,分享了一项家庭实验室尝试:在不配备显卡的情况下,使用已停产的英特尔傲腾持久内存,成功运行 2.8 万亿参数的月之暗面 Kimi K3 模型。 11 月 13 日该话题登上知乎热议时,给出的完整耗时口径是:生成 5 万个词元约需 18.5 小时。 先把结论说透:这套方案的零件确实复刻得起,门槛不在钱,在平台、软件和耐心;而复刻之后你只能围观它干活,没法真的拿它对话。IT之家知乎

这台机器的本体是一整套"退役"平台:一颗 40 核心第三代至强可扩展处理器,搭配 2020 年随第三代至强发布、单条 128GB 至 512GB 的傲腾 200 系列持久内存,在 App Direct 模式下被直接映射为独立持久化内存区域。 各家转述的速度数字对不上,但对回发帖人自己的更新就说得通:标题里那个 1.5 词元/秒,是他在原帖追加更新里的数值——重测关闭 DAX 挂载后的 1 位量化运算,速度从 0.85 提到了约 1.5 词元/秒,提升近一倍。数智社

一笔停产内存的账

Kimi K3 总参数 2.8 万亿、单次激活约 1040 亿、896 个专家、支持 100 万 token 上下文,是目前全球参数规模最大的开放权重模型。 每次推理只激活约 1040 亿参数,这正是纯 CPU 方案能成立的前提——计算量勉强够得着,真正的墙是把 TB 级权重"装下、喂饱"。据媒体转述发帖人的配置测算,即便经过极度压缩的量化处理,这个量级的模型也至少需要 610GB 内存,在内存价格持续走高的当下,用 DDR4/DDR5 堆出同等容量的代价极高,而二手傲腾的成本只有同容量普通内存的几分之一。 而"停产"正是它便宜的原因:英特尔最终在 2022 年第二季度财报中正式宣布逐步关停傲腾业务,在美光把唯一量产 3D XPoint 的晶圆厂卖给德州仪器后,整条傲腾产品线已成绝响。微博数智社知乎

零件本身确实不贵,二手市场上 128g 的傲腾内存不到 300 块钱,配套的服务器级至强 CPU 单颗也不到 100 块。 但便宜的另一面是风险:现在市面上流通的全部是机房拆机淘汰货,还混杂工程版、改版模组,英特尔已停产该产品线、没有官方质保,下单前得先接受"能不能点亮全凭运气"。小红书

复刻之前,三道门槛

第一道是平台。傲腾持久内存虽然物理上插 DDR4 插槽,但内部通信协议不一样,普通家用酷睿、AMD 平台直接点不亮,只支持二代、三代至强金牌、铂金服务器整套平台,还要对应服务器主板、正确 BIOS 设置,不是买回来插上就用。 换句话说,家里只有一台游戏本或台式机、指望"插上内存条就本地跑大模型"的普通用户,连入场券都没有。知乎

第二道是软件与热量。这套玩法依赖开源社区放出的量化权重和纯 CPU 推理引擎逐个模块搬运计算,发帖人在跟帖里试过 BigMoeOnEdge、Colibri 等开源路线,也坦承在装好 GPU 之前不指望速度有显著提升——对他而言,这只是显卡到位前的过渡实验。更实际的是散热账:满载功耗很高,玩家郑重提醒主动散热不能省,测试里直接上了两台 12W 涡轮风扇对着内存位吹,否则高温足以烤坏旁边普通内存、严重时把主板插槽烤熔。 服务器平台的功耗与噪音能不能被卧室和书房长期容忍,本身就是问题。数智社

第三道是体验,也是最硬的一道。受硬件性能限制,生成速度极慢,输出数万个 token 需要耗时十多小时。 发帖人的量化数据更细:1 位量化下 0.85 Token/秒,提升到 3 位量化降到 0.75 Token/秒,生成 5 万 Token 的任务可能要跑 13 小时以上;数智社据此下了个直白判断——实时对话没有意义,深夜离线批处理性价比才高。快科技数智社

拿它和主流方案放在同一把尺子下,"复刻"的性价比就更清楚了。自媒体估算,同量级的 K3.1 Pro(11 月 5 日开源的 2.8 万亿参数版本)本地部署最低 800 万元起步、推荐配置 3000 万元——那是企业和科研预算的账。 而按公开评测口径,Kimi K3 的 API 输入按缓存未命中、输出按标准价格分别为 3/15 美元每百万词元,同样跑 5 万词元的任务不到 1 美元、十几分钟就能拿到结果。 傲腾方案的钱几乎只花在硬件和电费上,时间成本却是以小时计的。知乎哔哩哔哩

能复刻零件,复刻不了体验

把三道门槛合起来,“普通人能复刻吗"就有了分层答案:手里已经有一代/二代至强服务器或愿意淘整套退役平台的 DIY 玩家,花几百到几千元收二手傲腾,配合社区量化权重,大概率真能让 K3 在自家"转起来”——这台机器证明的就是这件事。而对只有家用电脑、指望本地大模型干活的普通用户,平台点不亮、速度不可用,复刻回来也养不起,不值得抄作业。还有一层边界要讲在前面:这是单一玩家的家庭实验室自述,各家转述的速度、耗时口径互有差异,尚无第三方独立复现,这些数字只能当作极限玩法的参考值,而不是可采购的配置单。傲腾输给了 DDR 和 NAND 的时代,如今却以"退役仓库里的廉价大容量"身份被 AI 热潮重新捡起——这个反差本身,或许比 1.5 词元/秒更值得琢磨。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章