一台12年前的E5服务器、512GB DDR3内存、两张回收来的Tesla V100——这套本该进储藏室吃灰的"残骸"，现在能跑几百GB的大模型。发布这期视频的UP主"ZZ是画渣"上线两天就收到10.3万播放、884条评论，评论区有人感慨：“回来了，都回来了，梦回当年围观贴吧垃圾佬开贴折腾。”哔哩哔哩
为什么突然跑得动了
一句话：MoE架构+IQ2/IQ3级超低量化+Strata分层推理，把GPU装不下的部分扔进便宜的大容量内存——512GB的DDR3 ECC插满，显卡塞不下的模型也塞得下。哔哩哔哩
实测数字也确实提气：单张V100约19 tok/s，双卡最高33.5 tok/s。256K上下文能跑，连超过400GB的IQ3_S量化模型都能以约16.7 tok/s吐字。哔哩哔哩
抄作业的人已经卷出更快的
这波热度里，抄作业的已经刷出更好看的成绩：有UP用华南双路X99+双V100 16G，整机实付3879元跑Qwen3.8-Flash-Next 125B，生成速度81.4 tok/s，秘诀是把单通道24.65GB/s的内存升级成8条REG ECC四通道。还有E5+2080Ti跑出50+ tok/s、X99+3060在Windows下破70 tok/s的。“本地算力拉满的快乐，谁懂啊！”。哔哩哔哩哔哩哔哩哔哩哔哩小红书
但先别急着下单，三笔账得算清
第一笔：涨价账。 视频火了，倒爷先动手。评论区哀嚎一片：“ddr3内存都在涨价，凑512g也要花大几千，这炒得真没招了”“ddr3、e5这些居然还能涨好几倍的价格”，有人悔当初没多囤32G内存条，视频里那张V100也涨到"一张四千多"。你刷到视频时看到的性价比，很可能是昨天的价格。哔哩哔哩
第二笔：电费和速度账。 评论区为电费吵翻了：有人省流估算"5-8元/百万token"。UP主晒出电量统计仪反驳，称电费比线上订阅API还便宜十几倍。两边数字都留个心眼，但有个差距是公认的：本地三五十tok/s，线上API早就两三百tok/s。本地省钱，换的是数据不出门、挂机不心疼额度。哔哩哔哩
第三笔：暗坑账。 有人一句话点破玄学：插满十六根内存默认掉到800频率这个坑，比后面33.5的数字值钱多了，白送的视频输出一开网页就吃掉CPU线程。再加上16根内存条和服务器风扇的噪音，这套东西天生属于有独立房间、看得懂二手配件报价的人。UP主自己也说全程"并不顺利"，最初速度只有个位数，靠一轮轮排查才救回来。哔哩哔哩
谁适合上车
追求数据不出本机、享受折腾过程、能蹲到涨价前配件的人——现在确实是垃圾佬近几年最幸福的时代。至于只想安静用AI的普通玩家，建议先回答一个问题：你要的是AI，还是养一台会写诗的拖拉机？
