8月19日,B站悄悄挂出一个视频:《E5 2696v4跑qwen3.6 35B速度展示》。一千出头播放、19个赞、18个收藏,按大数据标准是条废片。但底下33条评论全是"抄作业"的:有人直接贴整机清单,有人报自己的实测速度,还有双路2698v4、256G内存的群友进场排队求评估。哔哩哔哩
当游戏FPS的标尺被放下,这帮人开始拿新标尺量手里的机器:内存多大、带宽多宽、能跑多少个B。而10月刷屏的Strata——一个"大模型省显存"的开源推理引擎——正好把魔改圈架上了这条新赛道:跑大模型的瓶颈,从"显存有多少"挪到了"内存能堆多大、带宽能有多宽"。魔改圈那些被嘲了很多年的"单核弱、核数多、内存便宜",一夜之间被逐条洗白。
一、Strata把大模型从显卡搬进了整台电脑
Strata是基于llama.cpp的开源推理引擎,针对125B参数的MoE模型Qwen3.8-Flash-Next做了深度优化:模型权重不再全塞显存,而是分层放进显存、内存甚至硬盘,GPU跑当下活跃的专家,CPU和内存接长尾。官方在RTX 5070(12G显存)+锐龙5 7600+64G内存上实测,生成速度53到93 tokens/s。显存更大更快,3090(24G)预计能到100到140。Windows双击START-HERE.bat就能装,本机8080端口直接提供OpenAI/Anthropic兼容接口,还能喂图;Coder版砍掉一半专家,第一分片只有29.6GB,32GB内存就够进门。知乎
对魔改党来说,这套机制等于按着洋垃圾平台的优点量身定做的:E5 v3/v4四通道内存、单路40条PCIe通道、论斤卖的服务器ECC条——过去是"游戏不配"的标签,现在成了"推理够用"的资产。B站UP"赛博画师GZT"已经做出适配魔改卡的本地编译版Strata:A3000 Laptop 12G显存+32G DDR3+E5 2676v4,跑Qwen3.8-Flash量化版能到20~34 tokens/s。他也提醒魔改卡最好本地编译,代价是要留100G左右的硬盘空间。哔哩哔哩
二、社区"抄作业现场"的三条路线
路线A,买现成板U。13代笔记本CPU板载化的MoDT魔改机,这两周站内已经掰扯过两轮,这里只补一刀:装好只是开始,你能跑多大模型,取决于你手里那把旧内存。

路线B,自己改。微博9月底就有人晒用编程器给联想M910q小主机刷魔改BIOS、屏蔽短接上志强CPU的改造现场。B站E5视频的评论区更是直接贴出作业原单——杂牌D3 X99板+1866频率16G×4+2686v4,配4热管散热和玄武电源。跟帖有人报"2667v2+64G四通道+2060S,Linux下用ollama跑33t/s",热评给的调校建议也很垃圾佬,让他关掉超线程、把内存超到1866再试。价格上E5多年是几十块一颗的货,2024年初就有"50元一颗的2666v3直接拿下"的刷屏视频;真正涨的是板子,X99杂牌板在这轮涨价风暴里已经数到千元档(本站此前盘过)。所以路线B只对"手里已经有机"的人成立,从零配机玩AI属于倒置。微博哔哩哔哩
路线C,直接买"大显存"。魔改卡早不是三个人一把烙铁的形象:知乎《显卡密辛》那篇展示了完整的自动化产线——双面PCB正反贴2GB GDDR6X、2000多个元件上贴片机、氮气回流焊、AOI光学检测加X-ray查BGA焊点、出货前按订单需求跑满12-48小时老化测试。知乎
行情与风险在同步变价:4090魔改48G已经报到2万+,而知友提醒"用起来还是经常有bug",不如官方卡稳。3080魔改20G则被minimax H3的本地部署需求直接推涨了近一千块。知乎知乎
但注意5090 96G至今"可以改,但是没有改"——按《显卡密辛》的说法,上一批破4090 vBIOS的人已经吃了官司,这条线是踩缝纫机级别的。知乎

三、三勺冷水,勺勺有名有姓
第一勺,D3的天花板就是带宽。20~34t/s是魔改机的真实水平,E5视频评论区自己就把原因说破了,定位只能叫"能用",不能叫"旗舰":吃内存带宽,要是四通道能上D4、D5,速度应该能提几倍。评论区那句自嘲"真就是力大砖飞",已经把D3作业的真实身价说明白了。哔哩哔哩
第二勺,出厂验收不等于生产环境扛得住。魔改卡确实要过回流焊温区判定和老化测试才出货——但知乎"魔改4090用了一年"的博主给出实录:开发真香,生产翻车,GSP固件超时崩溃、dmesg吐Xid 119/154、PCIe从Gen4掉到Gen1-2,而且坏了连报修的地方都没有,NVIDIA不认,卖家管卖不管修。他最后换回正规PRO6000 96G(报价6w出头)才踏实,顺带留下一句工具链经验:ollama做demo,vLLM上生产。知乎

第三勺,低门槛的钱并不便宜。按10月那篇拆账:5070 12G显卡8000多块、64G的DDR5内存又得8000多块,这就1万6了,整机至少也要到2万块档。而且这波技术已经顺手点着了存储行情,适配视频评论区说"现在因为这个项目,硬盘又一次飚起来了"。叠加NAND持续走高,你囤条囤盘的窗口在收窄。至于满世界飞的魔改量化模型,也有网友提醒:官方一天一个新版,这种小众魔改版说停就停。知乎哔哩哔哩
四、谁该动,谁该停
手里有E5/X99旧机、内存能凑到32G以上的:零成本试错,这是唯一稳赚的玩法。先装Strata的Coder版试试125B,嫌折腾就直接ollama挂27B档——社区已经有把Qwen3.8-27B端到端三值化压到5.9GB的"黑科技魔改"。知乎
想花一两千从零配杂牌板洋垃圾机、专门跑AI的:停。杂牌板千元档是既成事实,D3带宽天花板也是既成事实,这笔钱投进去只能买一个"能用"。
想买4090魔改48G接生产单的:想清楚。两万出头,没有保修、顶着vBIOS灰区,拿来做开发实验可以,拿客户项目陪葬不值。
手里已经有16G显存卡加64G内存的:不用挤上魔改车,你的入场券已经买了。
接下来值得盯三件事:Strata的迭代速度和IQ3_S档的实际普及度——那是官方称与完整模型持平的量化档。要看LFM2.5-24B-A2B这类官方小激活MoE会不会把"推理吃内存"变成常规设计:240亿总参数、每次只激活24.5亿,32G内存笔记本就能本地跑智能体。最后是闲鱼上3080 20G、4090 48G的供货与价盘变化。知乎哔哩哔哩
魔改这门生意,本质一直是拿新价格重估旧硬件:X79时代按游戏价,涨价季按保值价,这一轮,AI把"单核弱、核数多、内存便宜"一条条从短板洗成了长板。唯一要提醒的是——被洗白的从来不是你的机器,是你脑子里那份购物清单。