最近本地大模型圈被一个"作弊级"演示刷屏：一张 12G 显存的显卡，就能跑 1250 亿参数的模型。主角是 GitHub 上刚火的开源推理引擎 Strata，专为 Qwen3.8-Flash-Next 深度优化。二手 12G 显存卡跟着涨价，评论区一片"这就去装"。小红书哔哩哔哩微博
125B 参数到底塞哪了？
这模型总参数 125B，但每次推理真正激活的只有约 6B。Strata 把整台电脑拆成几层"仓库"：显存放常驻和热点 experts，内存放路由 experts，SSD 压着 n-gram 表靠页缓存提前读。小红书微博
再配上投机解码：先让"小模型"猜几个 token，大模型再统一批改。显卡只是前台，内存才是仓库，SSD 是后备仓。小红书
真正的门槛不是显卡，是内存
官方文档写得直白：最低支持 8G 显存配 64G 内存。社区整理的档位表更细：64G 内存四档都能装，官方推荐 IQ2_XS，想挤 IQ3_S 得关掉其他大程序。微博小红书
32G 内存则基本白搭：官方口径只给到代码专用版。社区实测合计 32GB 只能勉强试 Gyro-S，量化越低，质量越妥协。小红书微博
能跑和能用是两回事
64G 内存硬上 4bit 档，权重要从硬盘读，速度直接掉到个位数。还有隐形成本：硬盘得留约 35G 放词表和加速层。有博主 16G 显存 + 32G 内存实测只能跑 1.75bit 的 IQ1_M，卸载理由干脆：能跑和能用是两回事。高赞评论一句话捅破窗户纸：12G 是幌子，64G 内存才是入场券。小红书知乎哔哩哔哩
速度和质量，两面的反馈都是真的
晒出来的数字确实能打：项目作者 5070 12G + 64G 内存实测，短对话输出 53–93 tokens/s、128K 上下文 43–74 tokens/s。有人 3090 跑 IQ3_S 短问答 67 tok/s，同硬件 llama.cpp 只有 20。3060 老卡配 64G 内存开 128K 上下文跑到 40 token/s，玩家评价是能干活了。甚至有人拿 DDR3 + V100 老机器开 512K 上下文跑出 38 t/s。微博微博小红书哔哩哔哩
翻车帖同样真实：有人内存被顶到近 80G，CPU 反过来拖 GPU 后腿。编程长任务也容易陷入死循环、分数塌陷。社区摸索出的解法是把长任务改成单请求串行。小红书哔哩哔哩
质量也在吵：有人 IQ3_S 档跑到 100 tok/s，直呼堪比闭源。也有人断言至少 IQ3 才勉强可用，和本地 27B 拉不开差距。更扎心的热门吐槽是：长上下文和速度，一问一个不吱声。一句话：档位越高越好用，也越吃内存。哔哩哔哩小红书小红书
结论：先看配置，再谈理想
现成电脑就是 12–16G 显存 + 64G 内存的，这是免费午餐：桌面版可视化界面，对不熟悉命令行的用户友好不少。模型还能通过 127.0.0.1:8080 的本地兼容接口，接给其他 AI 工具当大脑。迭代也没停：0.2.0 加入图形界面，支持 Windows、macOS 和 Linux。11 月初的 0.2.10 默认启用 DFlash2，实测提速 25%。32G 内存党先看完翻车帖再动心；想为它专门加内存换卡的，先瞅瞅被 AI 炒了半年的行情。让子弹再飞一会儿，手里的 27B 继续干活，不吃亏。知乎Strata官网微博微博
