一周开源四台“Flash段位”旗舰:12G显卡跑125B是真的,但先算清你电脑这三笔账

源自108位全网作者

10-24 19:44

昨天(10月23日)晚上,MiniMax把M3.1 Flash的权重传上了Hugging Face和魔搭:总参数428B,每个token只激活23B。OpenRouter上匿名屠榜了10天的"SpaceBunny"(太空兔)正式现形。官方口径:成本约为上一代M3的1/3、速度约3倍;10月19日上线以来,72小时内真实用户已经喂给它超过100万亿Token。华为昇腾也随即宣布接入。知乎知乎

再往前捋一遍节奏:8月26日,Qwen3.8-Flash-Next开源,125B体量。 10月17日,DeepSeek把V4.1 Flash升级为V4.1-Flash-1017。 GLM-5.3-Flash(320B总参、激活18B)紧随其后,昨晚M3.1 Flash开权重——一个多月里,“Flash段位"的四台旗舰级MoE排着队站上了货架。圈内那句"一周打完年度大战”,说的就是这个窗口期。知乎知乎知乎

每来一台新旗舰,“想自己跑"的人群就激动一轮:不按次付费、不把资料交出去、不限速。但看完上周刷屏的"12G显卡畅跑125B"和昨天的"写代码68tok/s”,真掏钱的人里不少是被打过脸的。这篇把知乎、小红书、B站这两周的实测帖汇总在一起,把真话和水分一起给你讲清楚。

MiniMax官方宣布M3.1 Flash权重公开的帖子实拍MiniMax官方宣布M3.1 Flash权重公开的帖子实拍

先把"参数通胀"说破:总参数是场面话,装进内存的才是账

今天的"旗舰级参数量"是通胀过的。Qwen3.8-Flash-Next是125B,GLM-5.3-Flash是320B,M3.1 Flash是428B——全是MoE(混合专家)架构:总参数是"仓库规模",每个token真正干活的"激活参数"才是"消费额",Flash-Next的架构拆解帖里原话是"FFN是高稀疏度的小专家MoE",每个token只叫醒一小撮。。这是它们能进家门的前提。知乎

但冷现实在后面:专家可以挑着叫醒,权重得整个装进内存。社区流传的口算公式:Q4量化下,参数量÷2≈权重GB数;日常聊天再乘1.5,跑Agent要乘2——因为KV Cache会随对话动态吃掉内存。。套一下:小红书

  • Qwen3.8-Flash-Next:125B→Q4约62GB,64~128GB内存+12G以上显存,够得着;

  • GLM-5.3-Flash:320B→Q4约160GB,基本只有128GB统一内存的AI Max+ 395和256GB内存怪才在牌桌上;

  • M3.1 Flash:428B→Q4约214GB,家用32G/64G想都别想,只能等官方量化和offload进度。

一句话:本波DIY的甜点位是125B档,428B更多是看热闹。

本地跑大模型内存口算公式科普卡片本地跑大模型内存口算公式科普卡片

"12G显卡跑125B"是真的,但主角不是显卡

这个刷屏结论来自开源推理引擎Strata+Unsloth等量化包(unsloth/Qwen3.8-Flash-Next-GGUF的UD-Q4_K_XL,另有IQ3_S版),10月初到昨天,知乎和小红书的实测帖一茬接一茬。几个可查的口径:

  • RTX3090+2016年的双路Xeon v4老工作站,跑到100+ tok/s,作者强调"零硬件花费"。知乎

  • 16G显存档普遍实测40~50 tok/s。X99平台凑出256G内存+5060 Ti 16G的折腾帖也有;知乎

  • RX7900XTX在Strata v0.2.2下的复测(10月24日发布):限261W功耗时,32K长输入这项46.78秒,但换到代码和连续任务,速度排序会变。;知乎

  • 小红书7860赞的爆款视频标题是"12G显卡畅跑Qwen3.8 Flash、125B体量、96t/s",而这条笔记热评里最高赞的质疑是:“这个文章缺少了太多关键条件,完全夸大了真实的情况!”。小红书

所以不是"别跑",是看清条件再跑:上面这些速度全部建立在"大内存offload+最新量化包+最新引擎"上——截至10月22日,Strata官方最新发行仍是v0.2.2,内置推理引擎还是0.1.47。 96t/s是最好条件,不是你的条件。知乎

12G显卡畅跑Qwen3.8 Flash实测笔记封面12G显卡畅跑Qwen3.8 Flash实测笔记封面

决定速度的其实是"仓库门多宽",不是算力

为什么和"显卡越强越快"的直觉有偏差?因为生成token时每步都要把权重基本完整地读一遍,瓶颈在内存带宽——那篇科普帖的比喻很准:仓库大小=内存容量(决定装不装得下),门宽=内存带宽(决定吐字快不快),工人数=GPU算力。公式就一行:token/s≈内存带宽÷模型体积。同一个8B模型,4090上约250 tok/s,Mac mini M4上约30 tok/s,差的就是带宽。小红书

于是这轮实测阵容才会这么杂:八通道内存的Ryzen AI Max+ 395(128GB统一内存)、4060 Ti、7900XTX、老服务器CPU……甚至有人验证了纯CPU路线:Qwen3.6-35B-A3B用ollama+docker纯CPU跑IQ4_NL量化也有8 tok/s。 这个速度"能跑",但谈不上流畅。另一端同样真实:有人在笔记本(Ultra X7358H)上跑Qwen3.8-27B-Q4,实测5.6 tok/s。。知乎热帖里"16G的Mac mini M4跑7B够不够用日常任务"也是同样的纠结。知乎知乎知乎

仓库比喻:内存容量、带宽与GPU算力科普卡片仓库比喻:内存容量、带宽与GPU算力科普卡片

分档速查:这周谁该跑哪个模型

先说表格出处之一:"厂商称68"那一行的原始帖来自小红书上一条硬件实测——两台T5000并联、256G显存,双机部署DeepSeek V4.1 Flash与GLM5.3 Flash,写代码68tok/s,同帖还有"四倍DGX Spark性能"的说法。小红书

你的机器

本周现实可跑

预期速度

备注

12~16G显存N卡+64G以上内存

Qwen3.8-Flash-Next Q4/IQ3(Strata)

40~100 tok/s

大内存是前提,不是显卡的事

AI Max+ 395/128G统一内存或顶配Mac

Flash-Next全家桶、GLM-5.3-Flash(IQ2-XXS)

20~50

SnowLLM、Strata均已适配

8G显存老卡(3060/2060级)

稠密27B-Q4聊天、小尺寸A3B

5~25

评论区"64G内存只有8G显存"才是多数人

轻薄本/无独显

Qwen3.6-35B-A3B纯CPU、7B级

1~8

别指望跑Agent长任务

256G内存怪/双T5000 NAS类

DeepSeek V4.1-Flash、GLM-5.3-Flash

厂商称68

"四倍DGX Spark、7×24不降频"是卖货口径,听一半

家用32~64G普通PC

M3.1 Flash:仅关注,跑不动

—

428B Q4要214GB起装

双T5000并联256G显存本地大模型主机实拍双T5000并联256G显存本地大模型主机实拍

本地还是云API:一分钟算清三笔账

  1. 用量账:云API按token付费,M3.1 Flash官方口径成本是上一代的1/3。 部分渠道上架时宣传"70%成本降幅、200+TPS",属推广口径。 V4.1-Flash-1017主打"许愿式编程"。月均调用不到几千万token、主要零散问答的人,云端天花板你一辈子摸不到。知乎知乎

  2. 硬件折旧账:本机闲置着"12G显存+64G内存"→本地几乎只剩电费,随便折腾;为了"跑上"专门加内存、买新卡、追八通道mini→那是给"显存焦虑"缴税,不如先继续订阅云端。

  3. 数据账:聊天记录、内部资料、客户文件不能出门,才是值得为新硬件掏钱的理由——但别过度自信:开源权重≠绝对安全,权重里也可能藏"内应",前面那个50美元实验已经敲过警钟。

企业侧的风向也在变:10月23日当天,讯飞对外算了一笔"60%推理跑在本地"的实账。 中国电信同日悄悄开源了主打本地的29B模型,实测被赞"会决策还能填空"。 "私有化还是直接调云API、先算清三笔账"的对比帖也在同一天出现。 ——"Flash段位"不是玩家自嗨,是产业链一起推的方向。知乎知乎知乎

坑与观察清单

  • 引擎迭代比驱动还快:Strata目前v0.2.2,跨版本速度差异明显,装完别以为一劳永逸;

  • 量化是质量的隐形之手:GSQ-RCO、Unsloth UD-Q4_K_XL、IQ2-XXS……同一模型多版本,文件小≠能用,连量化档位选择本身都成了实测课题。;知乎

  • AMD支持刚补上:7900XTX路线要靠Strata v0.2.2才顺;10月初的评论区还出现过"又不支持AMD"的抱怨。;小红书

  • DeepSeek 4.1之后本地更难:老玩家直言"deepseek到4.1之后本地部署就变得很难弄了,两台dgx-spark互连的上限就是GLM-5"(社区反馈,仅供参考)。;知乎

  • 端点也有坑:GLM-5.3-flash与flashx两个端点的messages校验规则不一样,踩过400报错的人不少。知乎

M3.1 Flash官方基准对比表M3.1 Flash官方基准对比表

MiniMax官方开源公告帖实拍MiniMax官方开源公告帖实拍

小结

这个月的"Flash段位"开源潮,第一次把"家里跑旗舰级模型"从梗变成了说明书:12G显存+64G内存的老台式机确实能跑125B,但决定你体验的是内存带宽、量化版本和引擎进度,而不是显卡上的那个数字。建议的行动顺序:先口算自己的"参数÷2×1.5"够不够装,够就下unsloth的GGUF配Strata周末折腾一轮;8G显存以下从27B-Q4或A3B小模型起步;至于428B的M3.1 Flash,先放进观察清单,等官方量化和offload工具成熟——看热闹不花钱,抢跑才花钱。

本地跑大模型从原理到实战科普卡片本地跑大模型从原理到实战科普卡片

内容由AI生成

精选参考来源

1. MiniMax|M3.1Flash开源权重上架HF:428B/激活23B,曾是SpaceBunny

2. MiniMax重磅模型开源!华为昇腾将接入,3天处理超100万亿Token

3. 如何看待8月26日阿里通义千问发布的Qwen3.8-Flash-Next模型?

4. 如何评价deepseek于10月17日发布的新flash模型?

5. 太空兔现形记:MiniMax M3.1 Flash深度拆解,兼横评Qwen3.8-Flash/GLM-5.3-Flash/DeepSeek-V4.1-Flash-1017

6. 解析一下Qwen3.8-Flash-Next模型架构&代码?

7. 本地跑大模型到底要多大内存?一个公式秒算

8. Strata推理引擎全链路调优实录 让1250亿参数MoE模型在RTX3090+双路Xeon v4上跑到100+tok/s

9. Strata确实可以封神了

10. Qwen3.8 Next Flash:7900XTX限261W,对比4060Ti和AI Max+ 395

11. AI科技与狠活!12G显卡畅跑Qwen3.8 flash!

12. Strata v0.2.2复测:7900XTX跑Qwen3.8 Next Flash有多快?

13. 如何看阿里最新开源的Qwen3.6Flash(Qwen3.6-35B-A3B)模型?

14. 中国大陆嵌入式行业深度分析:过去、现状与未来(AI生成:本地Qwen3.8-27B-Q4)

15. macmini M4(16GB+256GB)本地跑一个7b模型,辅助一些日常任务可行吗?

16. 写代码68tok/s!GLM5.3 Flash本地部署实测

17. DMXAPI上架MiniMax-M3.1-Flash:effort五档参数,把“思考多久”变成了一个可以按任务调节的旋钮

18. 60%本地跑:科大讯飞给大模型行业算了一笔实账

19. 中国电信悄悄开源本地29B模型,不仅会决策,还能填空,实测夯!

20. 私有化部署大模型,还是直接调云API?先算清这三笔账

21. AI Max+ 395跑Qwen3.8 Next Flash:GSQ和Unsloth三档量化实测

22. 目前有什么可以本地部署的大模型推荐?

23. GLM-5.3 Flash调用一直报400怎么办?flash和flashx两个端点的messages校验规则居然不一样

2
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章