11 月 2 日，Reddit 用户 IndividualSurvival 在家庭实验室社区发帖，展示了一个没有显卡参与推理的"家庭实验"：月之暗面的 Kimi K3 在普通内存里一直往外吐字。 硬件是 40 核的第三代英特尔至强可扩展处理器，内存用的全是早已停产的英特尔傲腾持久内存 200 系列，推理软件是开源的 llama.cpp。 这个"不用显卡"的实验，在 11 月 13 日下午成为知乎上的热议问题。YourTools呆崽说AI知乎
结论先摆：每秒 1.5 个词元已经是折腾之后的最好成绩，初始实测只有每秒 0.85 个。这件事证明的是"能跑"，不是"好用"——省下的显卡钱，是用时间、回答质量和一堆没有售后的旧零件换回来的。
先跑通再说：1.5 词元/秒已经是"翻车"后的数字
Kimi K3 是月之暗面 2026 年 7 月 16 日发布的旗舰模型，7 月 27 日开放权重下载，总参数 2.8 万亿，每个词元只激活大约 1040 亿参数——是混合专家模型，896 个路由专家加 2 个共享专家，每次只唤醒其中 16 个。 算力压力没有标题里的数字吓人，但权重必须整个躺在内存里，即便经过极度压缩的量化处理，也至少需要 610GB 内存空间。呆崽说AIYourTools
速度曲线比结果更有意思。1 比特量化后初始生成速度约每秒 0.85 个词元，关掉 DAX 直接访问功能后提升到每秒 1.50 个词元；3 比特量化反而只有每秒 0.75 个词元，生成 5 万个词元约要 18.5 小时。 提速的原因在于，DAX 原本是让软件直接读写傲腾内存、绕过系统页缓存，关掉它之后常用的热数据反而能留在速度快得多的 DRAM 缓存里，一个挂载标志换来了接近翻倍的速度。 按 1.5 词元/秒算，一段几百词的普通回答要等 5 分多钟，一篇长文的时间要按小时计。YourTools呆崽说AI
装下 2.8 万亿，靠的是没有选择的选择
社区流传的量化尺寸表写得很清楚：1 比特动态量化版本大约 594GB，2 比特版本大约 861GB，原始的 MXFP4 权重约 1.56TB。呆崽说AI
这位玩家选 1 比特不是图便宜，是只有 1 比特能把 2.8 万亿参数塞进 610GB 上下的内存空间，回答质量的折扣从第一天就写死了。呆崽说AI
质量损失没有当场致命，有一点运气成分：月之暗面训练 Kimi K3 时做了量化感知训练，权重本来就按 4 比特准备，压到 1 比特损失不小，但模型还能正常出字。 不过"能出字"和"能用"，是两件事。呆崽说AI
代价清单：慢只是第一项
散热比速度更棘手。这位玩家拿两台 12W 鼓风机对着内存条直吹，并且在帖子里把主动风冷写成强制要求。 他的提醒更直接：如果散热不够，傲腾释放的高温足以烤坏旁边的普通内存，严重时还会把主板插槽直接烤熔。 这套配置注定放不进书房——功耗、噪音、风险，一项都省不掉。呆崽说AIYourTools
更根本的代价是断供。英特尔后来停掉了傲腾整条产品线，如今只能在二手市场找。 现在二手市场上一条 256GB 的傲腾持久内存可能只要几百到一千美元，但它只认第三代至强平台，新平台已经不支持，出问题也没有售后。 停产的时间点带着一点反讽：2022 年 7 月英特尔正式宣布停止未来傲腾产品的开发，同年 12 月，ChatGPT 来了。呆崽说AIYourTools费曼的AI实验室
这笔账的背面：省了什么，没省什么
Kimi K3 的官方定位一直是数据中心级模型，推荐的推理引擎是 vLLM、SGLang、TokenSpeed 这类服务器软件。 把它搬回旧服务器，对照云端的价格一目了然：三大运营商已全部上线词元套餐，最低月费 9.9 元起。 最便宜的一档 9.9 元里，包含 1000 万词元。 这台机器按 1.5 词元/秒连轴转，一天产出约 13 万词元，跑满 77 天，才等于一个 9.9 元套餐的含量。省下的硬件钱会以时间的形式重新付一遍，这笔换算不用再多论证。呆崽说AI长安街知事荆楚网
同一条"不用显卡"的路，也有更早和更近的参照。今年早些时候，另一位 Reddit 网友 APFrisco 用一堆二手傲腾持久内存搭了台工作站，把万亿参数的 Kimi K2.5 跑出约每秒 4 个词元。 11 月 8 日登上 Hacker News 首页的 llama-modchip，在 64GB 内存、没有独显的机器上把 2843 亿参数的 DeepSeek-V4-Flash 用纯 CPU 跑出预填充 44.36 tok/s、生成 9.1～14.7 tok/s。 规律只有一个方向：模型越大，内存带宽卡得越死——从 284B 到 2.8 万亿，速度还要再掉一个数量级。费曼的AI实验室清水亭长
这场实验适合谁
作者自己也试过换引擎。前一天试 BigMoeOnEdge 感觉很慢，换成 Colibri 配 4 比特权重，只跑到每秒 0.81 个词元；他在回复里说得很明白，在装上显卡之前，速度不会有明显提升。 这句话把 CPU+傲腾路线的天花板钉死了。呆崽说AI
但这不意味着这条路白走。每秒 1.5 个词元对实时对话毫无意义，深夜挂机跑批处理——生成长文本、做数据标注、训练数据预处理——这个成本倒真有吸引力。 对拿它当聊天工具的人，这盏深夜亮着的服务器指示灯与自己无关；对把速度换成成本的人，它是一扇真实存在的门。YourTools
真正值得持续盯住的是方向。当万亿参数模型把内存容量变成比算力更硬的约束，行业开始在性能 NAND 上找出路——HBF 高带宽闪存、XL Flash 这类介质，被业内认为非常适合承载从 HBM 和 DRAM 溢出的 KV 缓存。 那台跑着 1.5 词元/秒的旧机器，更像给这场变化提前点亮的一盏灯。费曼的AI实验室
