12G显卡跑125B？Strata爆火背后，真正的门票其实是内存
最近本地大模型圈子被一个开源项目炸穿了：Strata。话术很狠——一张12GB的游戏显卡加64GB内存，就能把125B参数的MoE巨兽Qwen3.8-Flash-Next跑到53～93 tokens/s。它在GitHub上已经攒下两万多颗星。评论区里更被玩家封为"Strata已经杀死了Moe本地部署的比赛"。微博小红书小红书哔哩哔哩
原理其实一句话说透：125B MoE听着吓人，但模型共有24,576个专家网络，每个token只需要激活其中10个。Strata的思路就是利用MoE每次只调用一部分"专家"的特点，常用的放显存，其余由内存和CPU配合处理，SSD还负责一张查询表。显存只是门面，内存才是仓库——这就是"12G跑125B"的全部魔术。知乎微博
但没人告诉你的是后半句。官方最低要求是内存+显存合计≥32GB，公式是RAM+VRAM−5GB，不是单看显存。有知乎玩家拿5060Ti加32G系统内存实测，能够尝试的模型非常有限，只能跑IQ1_M极限压缩后的量化模型，测完直接卸载。“能跑"和"能用”，是两回事。评论区的大实话是：这玩意至少是16G显存+48G内存跑IQ2XS才有的用。真有人给儿子电脑换上96G内存跑strata实现token自由，“这套内存现在也得一万块了吧”。哔哩哔哩知乎哔哩哔哩微博
社区实测数据倒是值得抄作业：
48G内存+5070Ti，IQ3_XXS量化跑128K上下文，输出峰值120 t/s、平均75 t/s。知乎
5060Ti 16G全程本地实测，一次请求输出8,071个tokens，解码89.8 tok/s。哔哩哔哩
2080Ti 11G+96G内存的老卡也能部署，跑出20 tok/s，博主原话"总体而言没有传说中的神奇"——速度上限终究看显卡和带宽，内存只保证"跑得起"。微博
0.2.11版本加2个CPU worker后，12G单卡实测31.1→62.7 tok/s，直接翻倍。哔哩哔哩
也有人实测低量化版后提醒，编程能力上因为长任务死循环导致分数塌陷严重。哔哩哔哩
坑也得提前标出来：decode是带宽题，不是算力题，更多显存比更快的GPU更重要，每1GB显存约多缓存700个专家；262K长上下文不免费，首token要等约4分半。走SSD换入换出，性能和硬盘寿命一起赔。而内存价格眼下还坚挺，最热的哀嚎属于16G显存+32G内存的玩家：“16+32，天塌了”。哔哩哔哩知乎哔哩哔哩
所以决策清单很简单：
已有12～16G显存+64G内存：一分钱不用花，今晚就装；
卡在32G内存：先别动显卡，优先加内存；
8G显存+16G内存：125B想都别想，官方要求12GB以上显存、32GB以上内存、80GB SSD空间。至于小模型，照样真香。微博
也别急着扔老电脑：一台破解到64G DDR4的旧笔记本跑IQ3_S就有大概75 t/s，只是这台机器"又涨了一万，早买早享受，晚买买不起"。当年插满128G内存的老爷机，单16G V100配DDR3也能跑到38的速度。微博哔哩哔哩
别被"12G显存"的说法骗去换显卡，Strata真正的门票，是你那根曾经"嫌贵嫌没用"的64GB内存。内存 ready？今晚开跑。
