海外模型盲测榜前阵子冒出个匿名选手:没署名、没官宣,代号 Ox-Alpha,社区猜了一圈,答案揭晓——智谱的 GLM-5.3-Flash。10月初 Cursor 接入 GLM-5.3 的消息一出,智谱港股单日涨了 6% 还多。微博知乎微博
但对本地部署玩家来说,真正香的是另一件事:这模型 320B 参数的 MoE(每次推理只激活 18B),MIT 协议,权重随便抱回家。哔哩哔哩微博

「抱回家」的门槛降到哪了
10月13日,B站有人发了五卡实测:Unsloth Dynamic 1-bit 量化把权重压到 93GB,4张3090加1张4090正好装下,预填充 225 tok/s,生成 33.5 tok/s,上下文还能开到 128K哔哩哔哩。生成速度超过 30 tok/s 是什么概念——比你眼睛扫字快,日常聊天、总结文档完全够用。

五卡不是唯一解:
8张2080Ti 22G(共176GB显存)跑 IQ4_XS 量化:短文本 30 tok/s,33K 长文掉到 18 tok/s。哔哩哔哩
M3 Ultra 的 Mac Studio:单请求 27.7 tok/s,四路并发总吞吐 79.7 tok/s——但峰值内存 176GB 起步,大内存版才装得下。哔哩哔哩
不想碰 Linux 的:B站一台 11999 元成品主机(播放两万多)开箱跑 15 tok/s,还带本地知识库。哔哩哔哩

有位 up 主说得更直白:「我在家本地运行 GLM-5.3-Flash,现在听起来比我拥有一块劳力士酷多了,反正花费也差不多」。哔哩哔哩
先泼三勺冷水
第一勺:1-bit 是能跑,不是能干。 Unsloth 自己的文档写得明明白白:1-bit 这类极低位宽版本,轨迹测试里会快速偏离原版模型,出现循环、空响应、工具调用失效;代码、Agent、工具调用的最低建议档是 UD-Q2_K_XL。换句话说,93GB 让 320B「站起来了」,想让它认真干活,显存需求会涨回去。知乎
第二勺:思考时间全是你的成本。 那次五卡实测里,一道逻辑难题模型烧掉 9.1 万个思考 token、跑满了 2 小时。本地不用排队,但电表会转。哔哩哔哩
第三勺:看图暂时别想。 llama.cpp 还没跟上这模型的 Vision Tower,多模态本地用不了,只能等上游适配。哔哩哔哩
所以到底装不装
先看云端对照。Artificial Analysis 的数据里,GLM-5.3-Flash 智能分约为 Claude Opus 5.5 Max 的 72%,单任务成本只有对方的 4%(0.25 美元对 5.98 美元)。知乎

在最接近真实办公的 GDPval 上它甚至压过 GPT-6 Astra Max,但终端自主干活的 Terminal-Bench 只有 33%,不到旗舰的六成;幻觉控制分 +7,旗舰普遍 +43 往上。结论就很简单了:轻度用户直接用 API,便宜还不占地方;数据必须留在家里、手上又已有多卡机或大内存 Mac 的,这是今秋最值得装的开源模型——只是别拿 1-bit 去干编程 Agent 的重活。知乎