10月17日B站一条视频的标题,足够让所有本地大模型党心里一动:一台家用电脑上的量化版,把阿里官方API的测评干翻了。
测评人AI观模者,主角Qwen3.8-Flash-Next,结果三行数字:Unsloth UD-IQ4_XS量化版在Strata框架里本地跑出89.50,官方API86.99,Swift IQ3_XXS83.62。有人晒出Strata跑这模型的实时面板:IQ3_S量化,decode200+ t/s、prefill5000 t/s上下。哔哩哔哩小红书

断层最狠的两处:数学拉开7.65分,工具/CLI拉开9.12分。评论区一片"以下克上"。哔哩哔哩
但别急着卸载API。这场胜利的真实原因,跟智力几乎无关。 官方API在这轮测评里12次超时交白卷,测评方算账,它94.88%的输出token都花在"想"上,一思考就撞出时限。哔哩哔哩
按测评方口径,题目每题限时20分钟,有5赞评论总结得直接:这榜最值得记的不是"Q4反超官方",是官方API输在"20分钟交卷"这条规则上。哔哩哔哩评论区
而剔除超时后,领先只剩1.98分——连视频简介自己都写了:"量化增强"为什么不能说。渐进题P4段还有个反杀:官方Flash69.20>68.46赢了回来。哔哩哔哩
那这瓜还能信几分?803道源题、920个执行实例、单一Judge,到发稿也没有第三方复现。哔哩哔哩
比法也被人追问:Swift这边摆上桌的是IQ3_XXS,不是它最高的档位。而官方至今零回应。证据链只够走到"在这个榜上它赢了",走不到"本地超越云端"。哔哩哔哩评论区
真正扎实的,反倒是另一样东西:一整套被实测出来的门票价。Flash-Next是8月27日发布的老面孔:125B总参加51B的n-gram查找表,每个token只激活6B。这才是消费级机器跑得动它的根因,也是这轮"消费级跑125B"热潮的起点。微博知乎
实测账已经攒了不少:4060Ti 16G显存配64G内存,IQ3_S、128K上下文,有人自测35-58 token/s,显存吃15G、内存吃55G。哔哩哔哩评论区
有5090用户自报512K上下文稳190 token/s单发中位数,已经开始当主力Agent用。哔哩哔哩评论区
UD-Q4_K_XL权重111.3GB,远大于16GB显存,靠Strata拿主内存和显存配合着跑。知乎

大统一内存路线也被跑穿了:实测人的结论是DGX Spark可以跑,日常大概占102g内存/显存。知乎
更野的玩法已经出现:有研究生把两台DGX Spark并成双机集群,晒出的日志跑的是DeepSeek 4.1 Flash的exl3混合量化,平均每秒输出22 tokens。小红书

Mac这边先泼自己一盆冷水:Metal最多只让一个程序常驻约3/4的内存,64GB的Mac实际只剩约48GB可用,教程里下的量化档就是Q2_0。知乎
而且官方参考口径里,M5 Max 128GB的生成速度约110~120 token/s。64GB机器的差距不用我多算。知乎
冷水也在评论区:有折腾了两个月的人提醒,这模型的量化缺陷是死循环复读,关键gate、rms必须保bf16,QSA、GDN至少维持fp8。哔哩哔哩评论区
也有人吐槽它是"雷霆大思考",token消耗和时间消耗全家最差。15赞的总结很直白:逻辑结果对永远要放第一位,速度跑不对没有用。小红书哔哩哔哩评论区
所以对大多数本地党,这事的正确打开方式是:想换Flash-Next,对的是内存和带宽的账,不是核心数的账,16G显存加大内存是当下甜点位;"以下克上"的叙事先别急着冲——IQ4_XS的文件大小和第三方复现这两个数字,目前的信源里一个都还没到齐。你看到的反超,多少是20分钟交卷规则给的。