12GB显存跑起125B：Strata爆火是真的，但退订前先算清三笔账

源自183位全网作者

08:12

最近两周，本地部署圈子被一个名字刷屏了：Strata。

一个开源推理框架，宣称 12GB 显存的消费级显卡就能跑起 125B 参数的 Qwen3.8-Flash-Next，实测 30~97 token/s。微博上有人直接开香槟："可以真正实现 token 自由，那还买个毛线的 code plan，API 公司想涨价就涨价的时代一去不返了。"知乎那边则有人甩出真实账单泼冷水：“只有『数据不能出内网』和『月账单超过两千块』两条同时成立，本地部署才开始回本。”微博知乎

两边都说得斩钉截铁。恰好 10 月 18 日晚，Strata 作者 Niko Veit 预告 0.2.0 大版本正在最后构建，AMD 平台首个提示处理速度提升 4.4 倍，还确认将支持 DeepSeek 和 GLM。热度和节点都赶上了，这篇就把两边的事实都摊开算一算：这波"12GB 显存跑 125B"到底是不是真的，你手里的机器该不该上车，上车之后到底能不能省下订阅费。小红书小红书

先把话说清：「12GB 显存跑 125B」有三个前提，标题里都省了

这不算标题党，但确实是把三个前提剪掉了。看完原理你就知道，Strata 没有违反物理规律。

第一个前提：这个模型是 MoE 架构。Qwen3.8-Flash-Next 总参数 125B，但每次推理真正激活的参数只有约 6B。Strata 抓住的就是这个特性——不需要把 125B 全塞进显卡，只需要保证"此刻要用的那几个 Expert"在显存里。小红书

第二个前提：64GB 内存才是真正的入场券。Strata 把整台电脑拆成四层仓库：GPU 显存放最热的 Expert，系统内存囤大量 Expert，CPU 处理没缓存到的部分，SSD 兜底最冷的数据，本质是给模型参数做了一套智能缓存调度，再配上投机解码（小模型先猜几个 token、大模型统一批改）拉速度。所以官方推荐配置是 12GB+ 显存、64GB 内存、NVMe SSD，另外还要给硬盘留约 35GB 放词表和加速层。小红书

第三个前提：跑的是量化版。有小红书用户翻遍官方文档整理了各档位门槛：32GB 内存配 12-16GB 显存，只能跑代码专用版；48GB 内存可以上 Q2_0/IQ2_XS 档；64GB 内存四档全开，官方推荐 IQ2_XS，想跑质量更好的 IQ3_S 得把其他大程序都关掉；96GB 以上才谈 IQ3_S 或 4bit 的 UD-IQ4_XS。8GB 显存官方只说"能跑、比较慢"，没给分档。小红书

一句话总结：显卡只是窗口，内存才是仓库。这直接决定了下面这张账单怎么算。

全网实测速度汇总：从 1400 元垃圾佬神机到 24GB 旗舰卡

把这两周知乎、小红书、微博上能找到的公开实测拼在一起，大概是这样一张表（模型均为 Qwen3.8-Flash-Next 系列量化版）：

硬件配置	内存	解码速度	备注
RTX 4060 Ti 16G	64G	30 t/s（IQ3_XXS）	比旧版 CLI 方案的 15-16 t/s 翻倍
RTX 5060 Ti 16G	64G	40.7 t/s（IQ3_S，约 84GB）	三次实测取中位数，全程没读 SSD
Tesla T10 16G	-	37-49 t/s（IQ3_S）	prefill 约 1050 t/s
RTX 3090 24G	64G	97 t/s	24G 显存 + 大内存的甜点配置
RX 7900 XTX 24G	64G DDR5	80-100 t/s（IQ3_XXS）	写代码 99 t/s，投机接受率 86%；prefill 1500-1620 t/s，256K 上下文开满
X99 + P100（约 1400 元捡垃圾）	DDR3 服务器内存	平均 30+，峰值 50 t/s	prefill 偏弱，只适合 Strata 这类分层框架
M1 Pro（Mac）	32G	9.2 t/s	v0.1.44 刚支持 Apple Silicon，低内存版本

怎么读这张表：30 t/s 已经超过多数人的阅读速度，日常问答、挂 Agent 干活都够；A 卡用户这次意外翻身，7900 XTX 的 prefill 冲到 1500+ t/s，意味着整个代码仓库扔进去 90 秒读完；Mac 用户先别急，M1 Pro 只有 9.2 t/s，属于"能跑通、不好用"阶段。小红书微博

三笔账：算完再决定上不上车

第一笔：硬件门票，三条路线差价十倍

路线 A，0 元上车：手里正好是 64G 内存 + 12G 以上显存的机器，装个 Strata 就能玩，这是最优解。桌面版启动器这两天刚更新，还会按你的硬件自动推荐该跑哪个模型、哪个量化档。

路线 B，1400 元垃圾佬路线：X99 魔改主板 + E5 + DDR3 服务器内存 + P100 计算卡，能跑，但这是折腾党的玩具——P100 的 prefill 弱，对 Strata 之外的框架兼容性一般，翻车了自己修。小红书

路线 C，花钱升级：这里有两个坑必须先说。一是电商上所谓"企业级 AI 大模型主机"，很多是国外淘汰十年的服务器硬件重新包装，E5-2699v4 配魔改 2080Ti 22G，按新硬件定价的直接拉黑——捡垃圾可以，按洋垃圾价捡。二是内存：本地大模型这波热度反过来推高了内存价格，64G 甚至 96G 的升级成本比年初贵了不少，专门为了跑模型囤内存，要先算清这笔溢价。知乎

还有一个带宽的教训值得记住：AMD 锐龙 AI Max 395 一体机 128GB 统一内存看着能装 100B 模型，但带宽只有 256GB/s——推理的本质是把参数从仓库搬到计算单元，仓库大、运输车慢，照样便秘。知乎

第二笔：能力折价，量化税是真实存在的

知乎那个 10.6 万浏览的问题下，有位搭了 LLM 网关的开发者晒了真账：9 天 19539 次请求、缓存命中率 99.11%，按官方定价折算月成本约 1500 元；而本地部署一套能用的 32B 环境，二手 4090 加整机接近 2 万一次性投入，租云 GPU 7×24 跑满一个月要 2200-3600 元。他的结论是：绝大多数团队选 API，本地部署只在"数据不出内网 + 月账单超两千"同时成立时才回本。知乎

但这个账有它的适用边界——那是团队生产环境的算法。对个人用户，本地部署真正对冲的不是价格，而是"单方面变更"：今年阿里云百炼下架 Coding Plan Lite 被指变相涨价超 5 倍，智谱、DeepSeek 也调整过价格；DeepSeek 3 月底宕机近 12 小时，10 月 15 日又宕了 5 小时；Cursor、Copilot 的代码收集争议就没停过。订阅制的本质是租用，降智、限速、改价、宕机，用户都没有议价权。知乎

同时要诚实承认折价：消费级机器上跑的 IQ2/IQ3 量化版，长文本理解和工具调用的掉点是实打实的，连本地派自己都承认"智商没法比厂商在线服务"。本地 125B 打平云端旗舰的说法，目前只存在于情绪里。知乎

第三笔：观望成本，0.2.0 就在眼前

10 月 18 日晚作者的预告帖：0.2.0 计划欧洲时间当天深夜发布（北京时间今天凌晨到早上），AMD 启动后首个提示 154→673 t/s，NVIDIA decode +10-14%，慢硬盘小内存机器靠新 planner 长提示最高 +2.5 倍，还带来 TUI 和桌面 GUI 两种新形态；评论区答疑确认支持 DeepSeek、GLM flash，手机端在路线图里。注意这些都是作者预告数据，还没有第三方复测。小红书

这意味着：持币观望的人只需要多等几天，就能看到 0.2.0 的复测和 DeepSeek/GLM 适配落地；A 卡用户是这轮最大受益者；而现在急着按 0.1.x 的表现下硬件订单的，可能买完就撞上免费升级。

到底谁该上车：对号入座

64G 内存 + 12G 以上显存的 N 卡/A 卡机主：现在就能上，零成本，从 IQ2_XS/IQ3 档玩起，桌面启动器已经把门槛降到点鼠标的程度。
32G 内存用户：只能跑代码专用版，升级内存前先看看内存行情，别在高位接盘。
8G 显存以下、或内存 16G 的轻薄本：这轮跟你关系不大，官方对 8G 显存的评价就是"能跑、慢"，别被爆款标题忽悠。
Mac 用户：v0.1.44 只是开胃菜，M1 Pro 32G 实测 9.2 t/s，0.2.0 对 Mac 的改进也"仅限低内存版本"，建议等 Qwen4 适配和大内存优化。
团队/企业，数据不能出内网、月 API 账单超两千：这才是本地部署真正的回本区间，Strata + MoE 在局域网内做百人级代码生成，吞吐和合规一次解决，值得立项评估。
个人轻度用户，每月 AI 花销不到一百块：云端订阅仍然是最便宜的，本地部署省不出你的时间成本，不必 FOMO。
正想为此专门装机的：等 0.2.0 第三方复测出来再下单，同时远离按新品价卖的洋垃圾"大模型主机"。