假期这两天,最热闹的不是新卡区,是"电子垃圾"区。
4台废旧ThinkPad连成集群跑80B(B站播放1.3万)、2013年的存储服务器给量化版Gemma 26B跑出5.2 tokens/秒、旧安卓手机被改成"局域网私有AI服务器"——这些都是最近一个月里刷到的投稿。知乎则在10月3日挂了个新问题:"把本地大模型装到旧电脑上后,你最先拿它解决了什么实际问题?"提问者特意加了半句:不想只是跑个分。知乎
这个问题本身就是当下最大的分歧现场:教程区都在教你"装得起来",评论区却在吵"值不值得装"。把两边都数完再下结论,旧电脑的答案其实很清楚。
六组实测,先把牌摊开
机器 | 配置 | 跑了什么 | 实测结果 |
|---|---|---|---|
2013年HP存储服务器 | 双路Xeon E5、DDR3、无独显,二手不到300美元 | Gemma 4 26B MoE(量化+推理框架优化) | 5.2 t/s |
核显轻薄本 | i5-1240P、16GB内存 | 7B级模型(q4量化) | 作者原话:只有7B以下配得上"能用"两个字 |
4台废旧ThinkPad | llama.cpp集群 | 80B模型 | 能跑起来,但热评口径:“tps达不到80基本没有可用性” |
MeshLLM跨设备方案 | Mac+显卡主机+迷你电脑组网 | 按层拆分超大模型 | 能启动;评论区几乎全是技术性反证 |
旧安卓手机 | 跑小模型+OpenAI兼容接口 | 局域网供电脑、设备调用 | 两条改造投稿播放合计近1万 |
知乎独立开发者 | Ollama摘要+本地embedding | 3747份Obsidian笔记自动归档 | 挂了定时器全自动跑满3个月 |
那台"伊拉克成色"的旧服务器来自一位开发者的实验:给双路Xeon E5配量化版Gemma 26B,跑出5.2 tokens/秒,他的定位是个人助手、总结文档、本地知识库"刚好够用"。B站

吵翻的分水岭,从来不是电费
先把两条对撞的评论摆出来。37赞的置顶口径很狠:“没有任何价值,那点生成的token,价值还比不上用的电费”;8赞补一句"5tps感觉没我脑子自己跑快"。B站
但同一条投稿下面,5赞的另一种用法是"第二天早上查昨晚布置的作业"。两边都没说谎,只是用法没对上。聊天要的是即时反馈——那条集群视频的21赞热评划了条硬线:tps达不到80,就基本没有可用性。批处理要的是整晚产出,5.2 t/s满载纯解码,一天理论吞吐约45万tokens,给摘要、打标、归档、embedding这类夜班活,够跑很久。B站B站
电那边也算得过来:双E5整机满载按150-250W估(区间估算,非实测),民用电价一天满载约2-3.6元,摊到每千token只有几分钱。"电费亏本"党亏的其实不是电费,是把旧电脑当ChatGPT用的时间和预期。
所以旧机器的正确入口不是"再养一个ChatGPT",是"雇一个不睡觉的夜班工人"。那位整理笔记的知乎作者把账说透了:他先用了两周云端embedding,因为笔记里全是工作内容和私人想法、且每天全量重建要传几千个文件,就改成全链路本地——代价是"接受本地模型的智力下降",换来"数据一步都不出门"。他的结论值得抄进预期清单:能长期跑起来的80分系统,远胜于跑了三次的95分系统。知乎

决定折腾前,先对三样
对内存:对"此刻可用",不对"标称"。 核显机器的显存从系统内存里划,开着浏览器跑模型和关掉浏览器跑模型,结果完全不一样——16GB标称、可用常不足6GB是常态。同一个模型,量化版对核显机器不是可选项,是必需品,q4装得下才有下一步。另外这个假期别动加内存条的念头:DDR5连涨7个月、年内+65%,加条等于在峰值接盘。知乎
对盘符:Ollama默认把模型塞进系统盘用户目录,一个7B就是4-5GB,几个模型下去C盘告急。改模型目录有个没人爱讲的坑:环境变量写错不会报错,只会默默继续用老路径——挪完记得去新目录确认文件真的生成了。知乎

对预期:本地的优势只有隐私和不依赖网络,不是效果。 改文字、写代码、解释概念,在线服务更快也更强。核显实测那篇的口径建议原样带走:"能用"级别,不是"好用"级别;当隐私优先的备选,别当主力。知乎
谁值得为它花掉一个假期晚上
核显轻薄本党:试。装一个q4的7B大约十分钟,成不成你都摸到入场券了,不成卸载零损失——但试成了也别顺手加内存。
闲置台式机/旧服务器党:最适合上夜班——夜间摘要归档、批量打标、知识库重嵌入,白天跑不动的活交给它睡后跑。
旧手机党:改造偏玩具,但功耗地板低,当局域网里的隐私小接口玩一晚不亏。
想把本地当每日主力聊天的:别折腾了,直接用云端,不丢人——这正是"37赞党"没说错的那一半。
最后留两个观察点:一是看译制实测视频记得留个心眼,集群那条投稿下面就有人点破"感觉llm落后版本了"。二是MeshLLM这类跨设备组网,在"没有实测,都是吹牛逼"这条热评被实测打脸之前,先别投入多台机器。至于那个知乎问题,才挂两天,等第一批"真解决过实际问题"的回答沉上来,那才是旧电脑党真正的使用场景清单——建议收藏跟进。B站B站