「239GB的模型，12GB的显卡」——这道除法怎么算都不够分，但今年秋天，一个名叫 Strata 的开源项目真做到了。10月底以来它在全平台刷屏：B站实测视频霸榜、知乎连出保姆教程和框架横评、小红书上"用内存跑大模型杀疯了"被顶在前面。项目地址就一个（GitHub：Niko1221/Strata），干的事一句话能说清：让12~24GB显存的普通显卡，搭配系统内存和SSD，跑起过去只有显卡集群才配碰的百亿、千亿级MoE模型。12GB显卡＋64GB内存＋普通固态，就能把DeepSeek V4.1 Flash这样的前沿大模型完整跑在你家里，数据一个字节都不出本机。小红书知乎B站B站
它是怎么做到的？不是魔法，是不再犯傻
公司总机接线不需要全体员工坐工位上——MoE模型也一样：几万个专家，每个token真正激活的只有极少数。把全部权重硬塞进显存，本来就是种浪费。Strata干的是"分层"：高频活跃的专家常驻显存，其余的放进内存甚至SSD里按需调取——走的不是删减专家或缩短思考链的路线，而是分层加载、CPU与GPU协同计算。“显卡是书桌、内存是书架、固态是档案室”——B站评论区这个被顶上高赞的比喻，说的就是这件事。知乎B站B站B站
老一代权重卸载方案很惨：权重在PCIe上反复搬运，生成速度骤降到几 token/s。Strata把分层调度、异构协同和投机解码凑在一起，才把速度拉回"能用"的区间——社区公认的体感标准是40 tok/s能用、60 tok/s以上才叫流畅。知乎知乎
但瓶颈不是消失了，是换了赛道
这是评论区吵得最凶的点：卡脖子的不再是显存，是内存。"只有32GB内存，只能干看着"是被反复复读的遗憾，社区共识64GB起步。内存还能插满，SSD才是隐形瓶颈——教程对机械硬盘的警告就一句：“慢死”。固态则得留足空间。B站知乎
还有盆冷水：官方速度全是空上下文口径，真干活按四分之一估，盘留500G起步。官方实测机单张12GB RTX 5070＋64GB内存，短对话确实能跑出93 tokens/s。B站B站
但社区实测分布更残酷：有人RTX Pro 4500平均80+、5070Ti约60。顶配9950X3D＋96GB内存＋5090，拉满8k上下文高负载下只剩17~22 tok/s。教程作者用6GB GTX 1060＋16GB内存跑IQ1_M档，也就15~18 tok/s。同一个软件，有人"杀疯了"，有人"果断放弃"，差的往往是内存和盘。B站B站知乎
再算一笔账，然后你再决定
“跑24小时，电费都比API贵”——这话没毛病，尤其对轻度对话、偶尔写稿的用户。但反过来，724挂批量任务、大规模prefill，也有人算出"半年回本"。对数据不出门、长上下文代码、批量处理的用户来说，本地买的是隐私和可控——它是可用的备选，还不是无感的替代。而Strata只是把这张门票从"显卡集群"降到了"内存插满"。B站
冲之前，先知道三件事
它没脱离llama.cpp体系：用的还是通用GGUF量化，IQ3档是目前公认的性价比甜区，模型在HuggingFace和魔搭都能下。部分文件在国外需要特殊网络环境，嫌麻烦可以直接丢给Agent装。B站
版本迭代快，也翻车快：新版本被用户吐槽"把d老师改好的又给改坏了"，求稳就锁旧版，别盲追最新。B站
别吊死一棵树：AMD阵营有功能类似的gufo。新对手Avalon在B450+3800XT的AMD老机器上跑出91 tokens/秒、超越Strata 47%，尽管它是为特定硬件和模型深度特化的分支。再加上Basalt的贴身对比，针对GLM的垂直分支Project-Maya也已经长出来了。知乎B站
Strata最大的意义，或许不是"12G跑239G"这个数字，而是一个用户说得准——它扯开了"要快速跑模型必须全部进显存"的固有思维。下一步你该做的不是换显卡，是打开机箱，看看内存条插槽还剩几个。B站
