320B旗舰压进93GB:33 tok/s挺香,1-bit先别干重活

源自176位全网作者

09:25

海外模型盲测榜前阵子冒出个匿名选手:没署名、没官宣,代号 Ox-Alpha,社区猜了一圈,答案揭晓——智谱的 GLM-5.3-Flash。10月初 Cursor 接入 GLM-5.3 的消息一出,智谱港股单日涨了 6% 还多。微博知乎微博

但对本地部署玩家来说,真正香的是另一件事:这模型 320B 参数的 MoE(每次推理只激活 18B),MIT 协议,权重随便抱回家。哔哩哔哩微博

320B旗舰压进93GB:33 tok/s挺香,1-bit先别干重活

「抱回家」的门槛降到哪了

10月13日,B站有人发了五卡实测:Unsloth Dynamic 1-bit 量化把权重压到 93GB,4张3090加1张4090正好装下,预填充 225 tok/s,生成 33.5 tok/s,上下文还能开到 128K哔哩哔哩。生成速度超过 30 tok/s 是什么概念——比你眼睛扫字快,日常聊天、总结文档完全够用。

320B旗舰压进93GB:33 tok/s挺香,1-bit先别干重活

五卡不是唯一解:

  • 8张2080Ti 22G(共176GB显存)跑 IQ4_XS 量化:短文本 30 tok/s,33K 长文掉到 18 tok/s。哔哩哔哩

  • M3 Ultra 的 Mac Studio:单请求 27.7 tok/s,四路并发总吞吐 79.7 tok/s——但峰值内存 176GB 起步,大内存版才装得下。哔哩哔哩

  • 不想碰 Linux 的:B站一台 11999 元成品主机(播放两万多)开箱跑 15 tok/s,还带本地知识库。哔哩哔哩

320B旗舰压进93GB:33 tok/s挺香,1-bit先别干重活

有位 up 主说得更直白:「我在家本地运行 GLM-5.3-Flash,现在听起来比我拥有一块劳力士酷多了,反正花费也差不多」。哔哩哔哩

先泼三勺冷水

第一勺:1-bit 是能跑,不是能干。 Unsloth 自己的文档写得明明白白:1-bit 这类极低位宽版本,轨迹测试里会快速偏离原版模型,出现循环、空响应、工具调用失效;代码、Agent、工具调用的最低建议档是 UD-Q2_K_XL。换句话说,93GB 让 320B「站起来了」,想让它认真干活,显存需求会涨回去。知乎

第二勺:思考时间全是你的成本。 那次五卡实测里,一道逻辑难题模型烧掉 9.1 万个思考 token、跑满了 2 小时。本地不用排队,但电表会转。哔哩哔哩

第三勺:看图暂时别想。 llama.cpp 还没跟上这模型的 Vision Tower,多模态本地用不了,只能等上游适配。哔哩哔哩

所以到底装不装

先看云端对照。Artificial Analysis 的数据里,GLM-5.3-Flash 智能分约为 Claude Opus 5.5 Max 的 72%,单任务成本只有对方的 4%(0.25 美元对 5.98 美元)。知乎

320B旗舰压进93GB:33 tok/s挺香,1-bit先别干重活

在最接近真实办公的 GDPval 上它甚至压过 GPT-6 Astra Max,但终端自主干活的 Terminal-Bench 只有 33%,不到旗舰的六成;幻觉控制分 +7,旗舰普遍 +43 往上。结论就很简单了:轻度用户直接用 API,便宜还不占地方;数据必须留在家里、手上又已有多卡机或大内存 Mac 的,这是今秋最值得装的开源模型——只是别拿 1-bit 去干编程 Agent 的重活。知乎

内容由AI生成

精选参考来源

1. 🔥 320B 塞进 4 张 3090!GLM 5.3 Flash 本地实测:1-bit 量化跑 33.5 tok/s

2. 【8卡2080Ti 22G】本地部署GLM-5.3-Flash实测:短文本30tok/s,33K长文解码18tok/s,预填充180tok/s

3. M3 Ultra 本地实测 GLM-5.3-Flash 四路总吞吐 79.7 tok/s

4. 【全网首发】11999元15t/s本地部署glm5.3与5.3flash,支持claw龙虾与本地知识库,无需使用linux

5. Glm 5.3 flash 本地开源测评(“我在家本地运行GLM-5.3 Flash” 现在听起来比”我拥有一块劳力士”要酷的多,反正花费也差不多)

6. 量化不再一刀切:Unsloth Dynamic 3.0 把高精度留给关键层

7. GLM-5.3-Flash 对决 Qwen3.8-Flash-Next:开源小钢炮追平美国旗舰了吗?

8. GLM 5.3 Flash 实测:又聪明又便宜,高级智能开始普惠了

9. #智谱GLM-5.3海外走红#这次走红不是靠营销造势,先是匿名盲测一战成名,代号Ox-Alpha冲上海外模型平台榜首,后

10. Cursor用了GLM!智谱凭什么是AI工具首选BT财经GLM上了Cursor:一张全球入场券智谱的股价在10月5日收于

11. #✅GLM‑5.3**是开源权重(openweights)**,分两个版本:GLM-5.3和GLM-5.3-Flash-

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章