先说个现象:这个夏天,垃圾佬圈子的话题变了。以前聊魔改U,问的是"打游戏稳不稳",现在越来越多人在问"这U能不能跑大模型"。8月21日,B站有人晒出QQLS魔改U+2080Ti 22G显存卡的整套分体水冷"AI穷装机"。哔哩哔哩知乎8月5日出现"显卡显存部署和KTransformers+CPU+内存部署,两种部署方式优缺点"的正经提问。知乎8月19日还有人在测E5-2696v4跑Qwen3.6-35B的推理速度。哔哩哔哩

这个变化不是凭空来的,是两件事叠加。
第一,本地推理终于把CPU这条路走通了。MoE模型(DeepSeek-V3/R1、Qwen3的A3B系列)普及后,KTransformers这类框架把专家层放到CPU+内存上算,显卡只负责注意力和激活的专家,单卡就能跑以前要多卡才能装下的模型。7月底DeepSeek发布v4-flash,KTransformers很快跟进原生mxfp4支持。知乎这条路还在进化。
第二,今年硬件涨价。涨得最凶的是内存,微博上已有价格时间线帖子预计"真正降价要等到2027下半年—2028年"。微博知乎3月有人算过一笔账:32G内存的价钱够买一张2080Ti 22G魔改卡还有剩。知乎显存贵、内存也贵,大家开始重新盘算钱该花在哪——魔改U这种本来不在账单里的东西,又被翻了出来。
但先说清楚一件事:本地大模型装机里,CPU通常不是主角。钱花得值不值,取决于你让它干下面三种活里的哪一种。
角色一:司机。模型整个塞进显存,CPU只负责给显卡喂数据。比如有人在2080Ti 22G魔改卡上部署Qwen3.6-35B-A3B,实测43-45 token/s,“效果接近4090”。知乎这种角色里CPU要求极低——上周B站UP主推荐270元的QQLT魔改U,号称怒锤锐龙36X和i3-12100F。哔哩哔哩当司机绰绰有余。CPU上的钱能省就省,挪给显卡或内存。

角色二:副驾。这是魔改U真正的主战场。显存放不下MoE专家时,CPU卸载顶上,决定体验的是两件事:核心数和内存带宽。E5-2698v3+64G ECC内存,Qwen3-30B实测22 token/s,已经进入"能用"区间。哔哩哔哩但别忘了反例:有UP主实测至强E5系列核心一堆,可4通道DDR3内存带宽才48G上下。哔哩哔哩线程一多就抢带宽,效率骤降——所以这个角色选U,别光看核心数,先数内存通道,再数内存容量。

角色三:主力。纯CPU推理。只适合一种人:有隐私、离线或极限预算的硬需求。双路E5-2696V4纯CPU跑DeepSeek-R1 70B,实测1.18 token/s,一个字一个字往外蹦;换1.5B小模型就是19 token/s。哔哩哔哩能不能点亮?能。能不能当日常主力?想清楚。
把能找到的实测整理成一张表,方便对照(均来自B站/知乎的实测帖子):
部署方式 | CPU | 内存 | 模型 | 实测速度 |
|---|---|---|---|---|
纯GPU | 便宜魔改U即可 | DDR4 | Qwen3.6-35B-A3B(2080Ti22G) | 43-45 t/s |
CPU-GPU混合 | E5-2698v3 | 64G ECC DDR4 | Qwen3-30B(MoE) | 22 t/s |
CPU-GPU混合 | E5-2696v4 | DDR4 | Qwen3.6-35B | 8月19日仍在测 |
纯CPU | 双路E5-2696V4 | 大容量DDR4 | DeepSeek-R1 70B | 1.18 t/s |
纯CPU | 双路E5-2696V4 | 大容量DDR4 | 1.5B小模型 | 19 t/s |
CPU卸载极限 | 魔改U平台 | 1TB DDR4 | DeepSeek-V3/R1(4×2080Ti) | 已有人跑通 |
再说钱怎么花。三条出路,花钱顺序不一样:
出路一,纯GPU党:CPU预算压到300元以内。显卡预算1500元以上、模型能塞进显存的话,CPU选QQLT/QQLS这类魔改U或最便宜的主流二手U就行。唯一注意:想上双卡,先看主板PCIe通道和槽位间距,魔改平台通道少,双卡插上去可能只有×8+×8甚至更低。
出路二,MoE卸载党:钱的顺序是内存>显卡>CPU。这派要用CPU+内存补显存不足,CPU选核心多、通道多的E5 v3/v4,或者13/14代HX魔改U。但真正吃预算的是内存——今年涨价之后,128G/256G DDR4 ECC一套就是大件。已经有人用4张2080Ti加1TB DDR4内存跑通了DeepSeek-V3/R1。知乎这种极限配置,光内存恐怕就比整个CPU+主板平台贵。再加上X99寨板的老坑(供电、内存兼容性),这条出路适合会折腾的人。
出路三,纯CPU党:不建议追。1.18 token/s的体验,加上待机功耗,会让你怀疑人生。除非隐私、离线是硬需求。

最后三个避坑提醒,都是当下的:
内存涨价还没完。走CPU卸载路线,内存是必买项,越晚买越可能越贵,普遍预期是涨速放缓、2026年内只有节日小促。微博要么早做决定,要么耐心等双11这种节点。
魔改U和洋垃圾本身也在涨。社区里已经能看到"硬件涨得太离谱,又开始玩魔改了"这样的说法。哔哩哔哩别囤货、别追高,用多少买多少。
魔改U的老毛病还在。BIOS微码、13/14代HX部分要换南桥、散热器扣具压力——下单前把这三件事问清楚,答不上来的直接跑。
劝退信号也说三个:只想用AI问答助手的,云API比装机省心;显卡预算不到一千元还想跑30B以上的,体验会断崖;看到"包刷BIOS、包稳"却不肯说芯片来源的卖家,绕道。
一句话收尾:这波AI热让洋垃圾有了第二春,按斤卖的E5如今能在推理帖里被认真讨论——大概是矿潮之后,垃圾佬最"生产力"的一次。但清醒一点:魔改U省的是平台的钱,不是显存的钱。把钱花在真正出速度的地方。