这周本地AI圈被一个开源项目刷屏了——Strata。上线7周GitHub攒下4.3万Star,11月9日刚发v0.2.13,号称家用电脑12G游戏显卡加大内存,就能跑千亿级MoE大模型。免注册、一键装,装完直接在localhost上开一个OpenAI/Anthropic兼容接口,聊天、写代码、喂图片都行。GitHub

它的取巧之处不在显卡,而在挪权重。 Strata主打Qwen3.8-Flash-Next、Qwen3.6-35B-A3B和DeepSeek V4.1 Flash这几个模型。MoE稀疏激活意味着每个token只有一部分参数真正参与计算,其余住在内存里,内存装不下就直接读SSD。显存不再是天花板,这正是"12G显卡跑千亿模型"刷屏的原因。小红书知乎GitHub

但代价官方也写得明明白白。 DeepSeek V4.1 Flash 2.00bpw档官方实测表,12G卡加64G内存的家用配置就是这么快。GitHub
RTX 5070 12G + 64G内存:生成只有4–6 tok/s,预填充约110
RTX 3060 12G + 46G内存:生成9–11 tok/s
Strix Halo 128G统一内存:写代码19–21,聊天11
4×R9700豪华配置:才有74–77 tok/s的流畅感
翻译成人话:它读东西快,回话慢。 一次性喂整本长文档很爽,来回对话就纯属折磨。社区晒的实测更参差:有人4060Ti 16G加64G内存跑出30 tok/s。也有人4080加64G内存能跑80解码中位、2300预填充,跑两个180K会话问题不大。哔哩哔哩小红书哔哩哔哩
还有三盆冷水,全是用户自己扒出来的:
硬盘比显卡先拦人。 跑满血版最重的2.25bpw档要下载274GB、预留约280GB空间,很多人第一步被C盘劝退,而不是显存。GitHub
精度是笔糊涂账。 配套项目llama-modchip号称纯CPU、64G内存跑284B的DeepSeek,数字看着很美,评论区第一刀就砍在软肋上。哔哩哔哩
更新别指望提速。 v0.2.13确实修好了开局和稳定性,但实测党把话说得很白。所谓Qwen4只是"铺好路",模型列表还没影子。哔哩哔哩

那谁现在值得装?吃隐私、断网可用、大量长文档单向阅读的人,Strata确实是眼下最便宜的入场券;只想找个聊天搭子,预算留给云端订阅更实在——有人早把话挑明:对大部分人来说,本地运行大模型从经济上讲都是不划算的。想折腾的先把账摊开:跑全尺寸得备64G内存,淘宝最便宜一套五千八,跟5070基本一个价,而云端API每百万token才几毛钱,买内存的钱够AI在云端写二十年。Strata砸开的是入场门槛,不是速度天花板,装之前把官方速度表和硬盘账单看一眼,你就知道自己是在玩它,还是被它玩。微博哔哩哔哩