“小模型干不了活，大模型跑不起来”——本地部署圈折腾了一年多，卡死在这道死结上。小红书上那句73条评论的吐槽太典型了：“装了模型，十几每秒的速度不知道能拿来做什么。”知乎小红书
但9月底以来，GitHub上一批开源项目开始改写游戏规则：狂揽26000+Star的Strata，让普通游戏电脑也能跑起1250亿参数的大模型。7月才创建、4个月冲到4.7万星、纯C编写的colibri。连显卡都不是必需。10月31日它更新的v2.1.0已能直接读GGUF格式模型文件。11月初，SGLang也端出了专治"显存放不下的MoE"的Paged Experts。知乎微博微博小红书小红书
凭什么是现在？因为千亿模型里，大部分参数是躺着的。以Qwen3.8-Flash-Next为例：主模型125B参数，每个token只激活6B，另挂着一套51B的n-gram查找表。24576个专家一次只上场10个。而那张查找表每个token只取16行、约5KB流量，根本不是计算量。于是工具们把热专家塞显存、冷专家放内存、长尾权重存SSD——要的是"装得下"，不是"全都在跑"。知乎微博知乎
现在的实测账本长这样：50块的老E5-2666 v3+三百块的GTX 1060+16GB内存，跑千亿模型也就19～21 token/s。3060 12GB配64GB内存能到30；5070+64GB按官方量化表能写出53～94个token每秒。同一张3090，Strata短问答67 tok/s、llama.cpp只有20，几乎是代差。顶配上，5090+192G内存跑256K上下文出过149 Token/秒。双PRO 6000要24万的专业卡方案，被几千块的老PC截了胡，笔记本都能跑到36。知乎知乎微博微博哔哩哔哩
但先别急着翻旧电脑，三个坑就摆在热潮正中间：
瓶颈没消失，只是搬家：从显存搬到内存带宽和SSD。技术解读警告"Expert不要跟着offload出去，不然速度会掉得很厉害"。教程原话是"不要使用机械硬盘，太慢，慢死"。那位跑出100+ tok/s的网友自己复盘"瓶颈在A5000的内存带宽太小，即使是换成了5090也不会带来质的提升"。连5090+192G的顶级配置都翻过车，“跑个20多分钟就蓝屏了”。colibri更是把代价写在脸上：744B的GLM-5.2，25GB内存笔记本真能跑起来，速度0.05～0.1 token/s，生成一句话可能要几分钟。知乎知乎知乎微博微博微博
数字必须对口径。“项目方说90，有人实测说是30多”。差距不是造假，是显存、内存容量、量化档位的排列组合。colibri的"8GB"也是跑最小模型的线，不是8GB跑千亿。量化越低越快，"典型的服务商量化算降智"那条65赞评论不是空穴来风。而且Strata两周一个大版本：0.2.0加入图形界面和模型推荐。0.2.10又让8GB显存吃到128K上下文。昨天的数字今天就作废。微博小红书知乎微博微博
它解决的是"能跑"，不是"有用"。想不清楚拿来干什么，149 token/s照样吃灰——这波热潮不会替你想好这个问题。
所以这轮该不该跟，答案很干脆：已经有32GB以上内存+NVMe固态的，直接装，Windows、Linux一键安装，装完还会按你电脑的内存硬盘推荐能跑的版本。不花一分钱试错；打算买新显卡冲"Token自由"的，先想清楚——百亿模型的脑子靠带宽喂，跑起来了，再想想让它干什么。微博
（以上速度均为社区自测或项目方口径，暂无统一横评。）
