没有一块显卡,停产傲腾却跑通了 2.8 万亿参数 Kimi K3:万亿大模型的门槛被退役内存砸穿了

源自164位全网作者

18:37

一台不带独立显卡的老旧服务器,靠几条英特尔早已停产的傲腾持久内存,跑通了月之暗面 2.8 万亿参数的开源模型 Kimi K3。11 月 2 日,Reddit 网友 u/IndividualSurvival 发帖分享家庭实验室尝试:不配备显卡,使用已停产的英特尔傲腾持久内存,成功运行 2.8 万亿参数的月之暗面 Kimi K3 模型,每秒可输出 1.5 个词元。 快科技同日报道了同一玩法:不带独显的老至强服务器搭配已停产的傲腾持久内存跑通了 Kimi K3,受硬件性能限制生成速度极慢,输出数万个 token 需要耗时十多小时。这件事的重点不在速度——按任何一份转述,它都慢得按小时计——而在于一堆退役硬件以最低成本验证了:跑万亿参数模型真正要的是"装得下",不是"算得快"。IT之家快科技

610GB 退役傲腾,接住了 2.8 万亿参数

机器的硬件核心是一颗 40 核心的第三代至强可扩展处理器,没有独显,模型权重被放进二手第二代傲腾持久内存 Optane PMem 200 铺出的约 610GB 容量里,纯 CPU 把模型跑到了每秒 0.85 个词元。 PMem 200 系列随第三代至强平台推出,单条容量 128GB 至 512GB,以 App Direct 模式映射为独立的持久化内存区域,软件因此能精确控制哪些张量存放在哪里。即便经过极度压缩的量化处理,这个量级的模型也需要数百 GB 的常驻容量,个人玩家用 DDR 堆齐这样的容量,账单足以劝退。数智社

代价写在散热上。傲腾满载功耗很高,玩家郑重提醒主动散热不能省,测试中直接上了两台 12W 涡轮风扇对着内存位吹,否则高温足以烤坏旁边的普通内存,严重时能把主板插槽烤熔——这也正是"差点把主板烧了"说法的出处。快科技

为什么纯 CPU 也敢碰 2.8 万亿参数

很多人的第一反应是:2.8 万亿参数连主流多卡都塞不下,怎么会是 CPU 跑得动的?关键在模型架构。Kimi 官方披露,K3 结合 Stable LatentMoE 框架后,模型可以在 896 个专家中高效激活 16 个。 按社区项目的折算,每个 token 只激活整体约 4% 的参数,约 1110 亿,几乎所有权重在任何时刻都处于空闲状态——而空闲权重不需要放在内存里,只需要在要用的时候能够被及时取用。 K3 采用的 KDA 线性注意力又压低了长上下文的缓存开销,两条叠在一起,"跑起来"需要的就只是一层"比内存大、比硬盘快"的存放空间——这恰好是傲腾当年被设计出来时想干的活。Kimi 官方知乎

而这套退役硬件的来路也值得交代。傲腾基于英特尔与美光联合开发的 3D XPoint 介质,定位卡在内存与固态硬盘之间;英特尔在 2022 年第二季度财报中宣布逐步关闭傲腾业务,并确认了约 37 亿元的损失。 当年"生不逢时"的产品,如今在内存价格持续走高的行情里被重新定价:二手傲腾的单容量成本只有同容量普通内存的几分之一。 社区里也有玩家晒出过 128GB 傲腾内存单条不到 300 元的成交价(随批次浮动)。IT之家数智社小红书

速度、边界与真实意义

速度上,各家转述的口径并不完全一致,但量级都是每秒 1 个词元上下:数智社写到 1 位量化约 0.85 词元/秒、3 位量化降到 0.75 词元/秒,5 万词元的任务可能要跑 13 小时以上,实时对话没有意义,但不赶时间的深夜离线批处理倒是性价比极高。 同一逻辑在社区里还有更极端的验证:项目 WASTE 把完整开放权重的 K3 转换为 982GiB 容器,在 64GB 内存的 MacBook Pro 上以磁盘流式方式跑出每秒 0.45 到 0.62 个词元。 两件事合在一起读,信号比数字本身重要:开源万亿模型的"能跑通"门槛已经降到家庭实验室量级,"跑得快"的门槛依然纹丝不动。数智社知乎

谁该跟进,谁不用

对绝大多数用户,这套玩法不值得复制:PMem 200 只兼容第三代及以上至强可扩展平台,等于得先有一台老服务器;极限量化后的精度损失没有公开评测;长期满载的散热也省不掉,调用官方 API 仍是用上万亿级模型最划算的方式。值得记下的是模型侧的节奏——K3 发布时官方承诺完整模型权重将于 2026 年 7 月 27 日前发布,随后如期开源;11 月 5 日,月之暗面又开放了新一代 K3.1 Pro 的权重,厂商将其定位为迄今能力最强的 3 万亿级参数模型。 权重越放越大、架构越做越稀疏、退役数据中心的硬件一批批下架,“装得下"的压力和二手容量的供给正在互相成就。下次再看到"洋垃圾"清仓的消息,不妨多想一步:那批傲腾和至强服务器的"退休年龄”,可能得重新算了。知乎摩尔线程技术博客

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章