适合谁：已经在给AI编程订阅或API付钱、看得懂显存和量化、但没自己跑过推理的中度玩家和独立开发者。这篇不教安装（教程已经刷屏），只把README、各家实测和双11前的硬件行情摊在一张桌上，帮你决定这次要不要上车。
一、这轮刷屏到底在刷什么
9月底10月初，阿里开源了125B大模型Qwen3.8-Flash-Next，几乎同时，开发者Niko1221的开源Strata推理引擎，首次让12GB消费级显卡跑125B大模型。模型卡写得很细：48层、每层512个专家、每个token实际只激活10个路由专家+1个共享专家，真正"通电"的只有6B左右，原生上下文262,144、可以外扩到1M。Strata这个引擎更离谱，开源第四天才618颗星星，10月6日已经14.5k星，版本号来到0.1.40。哔哩哔哩知乎哔哩哔哩
两件事叠在一起，“12gb显存显卡跑125bqwen3.8模型：strata登场，单张rtx5070跑出94"成了知乎热问的核心内容，发帖没几天浏览量破了11万。微博大V"爱可可-爱生活"喊出"本地AI的奥本海默时刻、终结云端垄断”。也有"挨踢牛魔王"直接泼冷水：项目方说能跑到90 tokens/秒，有人实测说是30多，生产环境不堪大用、可以玩玩。知乎微博微博
对天天给Claude Pro、Cursor或者DeepSeek API打钱的人来说，真正的痒点不是"又发了个模型"，而是那句账：一张打游戏用的12G显卡，加普通内存，能不能把125B跑成生产工具，从此不看token账单？
二、把原理说成人话：它不是在"跑125B"，是在"跑一个分层"
Strata不是模型，是"怎么跑模型"的引擎。它的整套操作建立在一个事实上：MoE的权重总量大，但每个token真正调用的专家很少。于是Strata把一台普通电脑拆成四层——显存里缓存最常用的专家，系统内存里放全部权重，CPU扛下剩下的计算，SSD上放一张查找表，靠预测加缓存把调用热点尽量留在最快的那一层。说白了，模型能不能跑起来，不只取决于显存够不够，还取决于权重怎么存、怎么搬。知乎知乎
配合这个拆分的是MTP投机解码：小模型先提出候选token，大模型并行地一次验证一串，README自己报告这一步带来1.6到1.8倍提速；今天最新的实测帖里，投机解码接受率报到了98.6%。提示词摄入按最多8,192 token一块处理，号称超过每秒一千token——对写过API调用的人来说，预填充速度才决定长上下文任务的体感。哔哩哔哩
对程序员真正关键的不是速度，是接入方式：服务启动后打开127.0.0.1:8080就有对话和监控面板，README层面同时提供OpenAI和Anthropic两种兼容端点。你现有那些调用云端LLM的代码和工具，基本只需要改一行地址。这也是它和"又一个本地聊天机器人"的本质区别——它是按"替换你订阅里的一个后端"来设计的。知乎
官方硬件门槛：RTX 20系到50系或部分AMD RX卡，显存12G起步、按官方文档最低支持到8G显存加64G内存，内存32G起步、强烈建议SSD。模型下载约70GB、首次启动要把35到55GB读进内存，这个过程整台机器会卡住一到三分钟。微博知乎
三、README里的五行数字，就是你的速度档位
同一台RTX 5070（12G显存）+64G内存的机器，README按量化档位给了这张表（生成/提示词，token/s）：
量化档 | 生成速度 | 提示词吞吐 | 内存门槛 |
|---|---|---|---|
Q2_0（2-bit，激进） | 94 | 2,650 | 48G起 |
IQ2_XS | 79 | 2,090 | 48G起 |
IQ3_XXS | 62 | 1,750 | 64G起 |
IQ3_S | 53 | 1,620 | 64G起 |
Coder变体（砍一半专家） | 55 | 2,180 | 32G即可 |
同一套硬件下，Q2_0档生成速度94、提示词2,650，IQ3_S档只有53和1,620，换到RX 9070 XT（16G）Q2_0掉到60，README给的RTX 3090（24G）预估在100到140。注意三条线：第一，速度换的是质量，档位越低越快，最激进的Q2_0是2比特级别量化；第二，门槛不全在显存，内存才是更硬的那根线——32G内存官方只建议Coder变体，48G能上IQ2_XS或Q2_0，64G才轮到IQ3_XXS和IQ3_S，跑更完整的UD-IQ4_XS要备96G以上内存、下载94GB；第三，上下文和门槛是同一件事的两面，262K外扩到1M，越长要同时驻留显存的专家就越多。知乎
四、"官方94"和"实测30多"为什么都是真的：五处差距来源
把这一周多来源的实测数字排开，差距就能解释了。双设备实测者韩朴宇给出两台机器成绩：12G显存的5070Ti游戏本配96G DDR5，IQ2_XS档跑出83 tok/s；5090配128G内存的台机，IQ3_XSS档207 tok/s。另一台4090 48G改卡的实测者晒出平均解码140-150t/s、最高180t/s。双5060Ti在跑一个HTML游戏时输出75+tps、峰值100+，单张5060Ti约40-50，双2080Ti加60多G内存能到60。知乎知乎知乎
最有意思的是"垃圾佬"对照组：两张二手V100-32G无NVLink，跑另一款176B MoE的IQ3_S量化（82.8GB、256K上下文），解码中位172、峰值190.3，但开思考模式日常体感只有78-93；同模型社区基准里单卡V100只有33.5，RTX 4090单卡97.2，RTX 5090单卡170.5。为什么便宜货追平旗舰？他的解释出自其视频原文："MoE模型拼的不是峰值算力，是专家权重能不能随叫随到。"旗舰单卡只能装下约一半专家、命中率92-97%，而他两张卡把24576个专家槽100%驻留显存。哔哩哔哩
所以"30多 vs 90多"根本不是谁造假，差在量化档（94是Q2_0，IQ3_S本来只有53）、内存容量与带宽、PCIe链路、subagent开关、报数口径这五处。版本与参数层面的坑也真实存在：Strata的多卡不是张量并行而是层切分，官方文档明确x4或x1插槽可用、不需要NVLink，双卡分层把专家命中率从约90%拉到99.7%，生成速度+67%。双卡之外还有开关：使用Strata时建议关闭subagent功能，否则多个agent排队会让缓存命中率暴跌。知乎知乎
还有一个量化包硬绑定问题：旧的IQ2_XS预处理包开头就写着每个字节偏移都按那个文件算的，直接拿去跑IQ3_S会读错权重，必须用官方工具重新生成——0.1.x跨版本升级期，这种事随时在发生。知乎
五、质量真相：写代码它到底够不够格
别拿"125B"三个字当质量保证，也别拿"量化"当质量折扣的死刑判决，看分场景的证据。官方口径里，IQ3_S的描述是"质量匹配甚至超过基础模型"，这是ISTA-DASLab原始评测的结论，且只有原版模型有该档。Coder变体砍掉一半专家，作者自测的结果是SWE-bench Verified拿到完整模型91%的分数，但在代码以外的任务上明显更弱。知乎知乎
和27B稠密模型比（Qwen3.8-27B Q4_K_M驻留约17G），Flash-Next IQ3_S在DeepSWE 1.1智能编程58.7对42.2、JobBench 55.7对33.4、Toolathlon 73.5对67.1、CoWorkBench 73.9对70.7——优势恰恰在多步骤、连续调用工具、长流程保持方向感，这正是编程Agent要干的活。知乎
反证也要摆上：云端前沿模型在私人口径里仍是SOTA，“从0实现一个向量数据库"的实测里最好成绩是同场第二名的2倍。评论区也有"激活这么小，真比云端旗舰强？感觉没道理"的合理质疑。目前第三方复现才刚开始，大量速度数据仍标注着未经第三方独立复现，证据只够得出分层结论，不够得出"本地替代云端”。知乎
诚实的分层判断：离线草稿、检索、日常补全、对单次精确度不敏感的任务，12G+64G这档已经体感流畅，有重度用户说128k上下文跑各类任务几乎无压力、离线处理文件的需求已几乎完美解决。严肃的长程Agent开发，至少IQ3_S起步、内存往96G走，关键的判断和评审步骤继续交给云端——本地不是替换订阅，是给订阅加一个"不计费的外包工位"。知乎
六、算账时间：月账单、折旧、和那个最危险的数字
B站"老T拆AI"在10月9日把"订阅、API、本地"三本账用同一个月的真实工作量摊开过：二手3090按8,033元买入、3年折旧每月约223元，而Claude Pro月付20美元约合135元。也就是说，纯聊天、中轻度使用的人，本地大概率跑不赢订阅——本地每百万token电费很低，但折旧挣不回来。哔哩哔哩
本地什么时候赢？重度长上下文、高并发、缓存命中率低的任务。知乎"token自由"问题（浏览量126万）的高赞答案给出了另一种样本：256G显存跑Qwen3.8-Flash-Next官方原生版本，TP2*PP2、1M上下文，单流约60tok/s、16并发约450tok/s，已经是这位用户的主力。而"翔宇情"的判断可以作为中度用户的锚：消费级本地部署进入了一个新的阶段，虽然还是很贵，但真的达到了可用线，相关硬件价格在一年内保值。知乎知乎
价格带（全部来自本周实测帖，双11前参考价）：甜点卡5060Ti 16G每张3,500-5,000元，双4060Ti或双5060Ti（16G×2）被实测者点名"非常合适"。垃圾佬路线两张二手V100六千出头、同场景中位速度追平四万多的5090。知乎哔哩哔哩
统一内存阵营的Mac Studio、DGX Spark、AI MAX 395这些128G设备基本3万起步，实测者直言速度甚至不如1万的游戏本。知乎
最危险的数字是内存价。上面那位双设备实测者顺手报了一笔：双48G DDR5内存2025年初售价1,799元，现在两个一起报价2到2.5万元。微博上"内存涨价"话题9月底动辄上千赞，爆料口径是AI抢占产能导致内存涨价、这波或持续至2028年。Strata这套方案恰恰"门槛在内存不在显存"——所以"等双11内存大降价"是本轮最危险的赌法：你等的是显卡促销，烧的是内存窗口。知乎微博
七、三个坑，全有实名
第一个坑：别用网盘里的"最开放版"。本周教程区大量"最开放版来了"视频附带夸克/迅雷网盘包和个人域名下载，传播的底模里出现了"HauhauCS激进无审查底模（0拒绝）"这类改造版本。引擎本体也有多个fork在流传，有评测者就注明本机用的并非原版仓库。官方路线只有两条：GitHub的Niko1221/Strata下载最新release（13MB），权重从模型官方渠道拿。装了改造底模，出的问题就不是Strata的问题了。知乎知乎
第二个坑：别第一天就上生产。“token自由"问题评论区有真实团队复盘：长任务会"顺着错走”，第3步算错的东西到第20步不会回头纠错，而是把错误包装成一份看起来特别完整、实际没法用的交付，出事后全链路返工的成本比人工硬做还高。企业侧也有同样的冷水：想做个内部演示demo两小时就够了，真想让人在里面查技术规范还不出事故，是另一回事。“部署≠能干活”，卡死你的往往不是成本而是责任。知乎知乎
第三个坑：32G内存的机器别硬上全家桶。README对32G内存机器的建议是直接上Coder变体（砍一半专家、代码之外偏弱），64G机器一加载就占掉55.42GB、约86%。旧经验"显存决定一切"这一轮正式作废：过去8GB只能跑4B、9B，24GB才能起步27B，现在12G那一行被改写成了"9B/35B MoE之外还能塞125B"——代价就是上面那张内存档位表。有人问"我的电脑能跑多大参数"，小红书那篇"一个公式秒算内存"被收藏了一千多次，就是因为大家根本不敢自作主张。知乎知乎小红书
八、按人分好：你现在该动、该等、还是该走
该走（不动）：中轻度聊天和补全用户、16G-32G内存的办公机。月账单135元的订阅，你按折旧算要付223+，电费噪音折腾一样不少。
该等两周：想玩但没有复现数据的中度玩家。0.1.x每天在动，V100实测视频今天才发、评论区正在对线原始数据，等5060Ti/2080Ti档的第三方中位数跑出来再定；顺手观察GLM 5.3等下一批模型有没有量化档。
该动（双11窗口内）：已经有64G内存+12G显存机器的，下载70GB改一行地址就能上车，零新增支出；本来就打算给主力机加内存的，别等"降价"，双11锁48G×2的任何一口价都算赢——涨价周期的促销，和你以为的促销不是一种东西。
该收藏继续观察：内存价格（持续到2028的说法）、Strata对AMD/Intel卡的速度追平、Coder变体补不补代码外的短板、以及各评测基准的第三方复现。
一句话收口：这轮"12G跑125B"不是营销话术，README的表和一堆带机器配置的实测都经得起对线；但它也不是免费的token自由——你买的是一台"内存带宽机"，赌的是自己用得够重。先对号，再下单。
（本文数据截至2026-10-10，速度数字均为来源作者各自机器与口径的自报实测，引用时请以原帖为准。）
