11月以来，本地AI的群聊都在晒同一个模型：Qwen3.8-Flash-Next。
值得晒的点很实在。8月26日开源权重，配置文件里的model_type直接写着`qwen4_exp`，开源检查点的官方名就叫Qwen3.8-Flash-Next，"下一代架构预览版"的说法有据可查。125B的MoE、IQ3_S量化档已经被人在日常工作站上跑了起来。量化后的模型文件约79GB——也就是说，跑一个"79GB级别的大模型"的门票，这次是一张几百块的旧显卡。也有人照着教程，把几十GB统一内存的Mac直接变成了模型主机。知乎知乎哔哩哔哩知乎
一、实测地图：旧卡先别扔
8GB显存（Steam Machine，配32GB内存）：跑通128K上下文，解码约18 token/s，调一个参数还能再涨两成。哔哩哔哩
12GB显存（RTX 3060）：单轮吐字接近70 token/s，32K上下文下预填充冲上千位数，“追到3080历史成绩的四分之三”。哔哩哔哩
16GB显存+32GB内存：接近256K上下文时平均85 token/s、prefill峰值1700，原话是"跑了几天都没出过错"。哔哩哔哩
双卡R9700，整机约3万元：8并发下解码800+、预填充稳定7000、KV池1.5M，这是"专业户"档位。哔哩哔哩
为什么旧卡能跑？不是显卡成神了，是MoE每个字只激活一小撮参数、量化档位成熟、加上推理引擎在疯狂刷版本。以Strata为例，核心玩法是把热门专家放进显存、冷门专家放进内存、大容量n-gram表放进SSD。MTP投机解码能带来约1.5倍提速。0.2.12版本还把12G老卡2K输入的prompt速度从87拉到264。"能跑"和"跑得快"之间隔的是引擎版本，不是显卡预算。知乎哔哩哔哩哔哩哔哩
二、三个没人广泛分享的坑
第一，速度可能是拿质量换的。3060实测视频评论区最高赞的提醒很扎心：“那两三个降智参数，建议别开太多”。IQ3_S档位的智商目前没有统一基准，博主那句"体感明显强于Gemma 4 E4B"，已经算得上眼下最硬的证据。哔哩哔哩知乎
第二，长输出会掉速。Q4档位想在长输出时稳住速度，实测估算显存大概要30GB；不够的玩家已经开始拿二手Tesla T10凑进peer模式补位。哔哩哔哩
第三，超长上下文是有账单的。有人拿16GB显存实测过冷启动成本：120K输入的长文档第一次平均要等约67秒，248K要等约158秒。而5万token的垃圾上下文，喂云端不过几毛钱，喂本地模型就是整篇整篇地白读。256K的快乐，只属于真有长文档需求、且能接受预填充等待的人。知乎知乎
三、分界线：开源的另一半
同一周，Kimi K3.1Pro也刷了一波存在感：10月底发布即在Artificial Analysis首发评测拿了55分、冲上智能指数第四。此前承诺的完整权重也在11月4日正式放上了HuggingFace。知乎知乎知乎
总参数2.8T、权重按MXFP4切成96个分片合计约1.56TB。有博主替企业算了笔账——本地部署"最低800万元起步，推荐配置3000万元"。也有博主"作死"把万亿模型往家用机上装，硬盘都拿来当内存。但这属于整活，不属于生产力。这期热闹把本地生成的分界线画得很清楚：消费级旧卡跑Flash-Next，万亿模型属于企业和超节点集群。知乎知乎哔哩哔哩
四、到底该不该装？
涉及人物面部长相的敏感创作，社区的原话是"所有数据均在本地，不联网不会透传给任意三方"。三类人现在就装：数据不能出域的、token焦虑症患者（本地跑多少字都免费）、以及享受折腾的人。但如果只是单纯省钱，云端"每天100亿token免费用"的额度摆在那里，很难吵赢。小红书哔哩哔哩
DDR5降到一千多块、“2080Ti的22G魔改版都能跑到70+tps”，玩家喊出的那句"大本地时代真来了"，正在被一张一张旧显卡兑现。X99老服务器配一张7900XTX重新营业，也已经进了本地玩家的机房。所谓"大本地时代"，不是新硬件的胜利，是旧卡用户终于轮上了。知乎哔哩哔哩
