跑GLM的2080Ti们,已经替想本地部署的人交完学费

源自28位全网作者

13:55

GLM-5.5还在传闻里打转——32B、122B、256B的"版本曝光"满天飞,官方至今对参数量和发布时间一个字都没公布。而另一边,有人已经把压箱底的2080Ti擦亮,本地跑起了全网喊作"牛来"的GLM-5.3-Flash,一秒18个token。哔哩哔哩

先补剧情:8月20日,匿名模型Ox-Alpha在OpenRouter免费上线,几天内直接冲上调用量榜首、连平台纪录都一起刷了。8月26日智谱认领并开源:320B总参数、单次推理只激活18B,是首个采用稀疏+线性注意力混合架构的开源前沿模型。Artificial Analysis综合智能57分,和Claude Opus 4.8打平,API定价是GLM-5.3的1/10、Opus 4.8的1/40。灰度期这些流量还全部由国产芯片扛住。哔哩哔哩微博智谱开放平台微博小红书微博

跑GLM的2080Ti们,已经替想本地部署的人交完学费

18B激活凭什么跑高分?官方文档写了:注意力计算量比GLM-5.3省3.01倍、KV缓存小4.44倍,上下文窗口1M。但硬币另一面:满血FP8权重重306GB,普通8卡机箱连门都进不去。智谱开放平台哔哩哔哩

跑GLM的2080Ti们,已经替想本地部署的人交完学费

三个月过去,第一批真金白银上手的人,把坑全踩完了。

企业级玩法:16张V100凑机房。有博主把GLM-5.3-Flash的FP8原生模型跑在了16张V100上,完成加载、起服和推理。TP8+PP2的配置听着唬人,但据评论区报数,解码只有15 tok/s上下,待机就要吃掉近1000瓦,光显卡大几万。有人算完账直接破防:电费加硬件折旧,怎么算都拼不过官方API。博主自己给这套机房的定位也很坦白——企业PoC、客户Demo、长文档问答,不是拿来日用。还有人把8张V100从163瓦超到250瓦,标称2500瓦的拖线板先烧了两个。哔哩哔哩微博

跑GLM的2080Ti们,已经替想本地部署的人交完学费

穷玩法靠量化。社区为GLM-5.3-Flash专门做了开源推理项目Maya:有人拿X99主板+两颗E5+DDR3的洋垃圾主机配两张2080Ti跑Maya量化版,预填充400-600 tok/s尚可,解码约18 tok/s。评论区看乐了:"跑到天荒地老。"宽裕点的方案,Pro5000-72G加V100S凑104G显存跑2bit量化,prefill能上1500 tok/s、解码50 tok/s。博主结论依旧:"不见得比云端省钱。"用sglang加DFlash2加速的实测也只有40-50 tok/s。哔哩哔哩微博微博

新卡也救不了。玩魔改48G版4090的博主实测:跑这类大模型,双卡4090方案基本没有并发能力,算力解锁加低精度量化只换来约10%吞吐提升。他原话是:“日常跑量化确实白忙。”哔哩哔哩

所以谁该掏钱?15、18、50这三个数字已经把答案钉死。

个人重度用户先别买。官方套餐价格表就长这样,限时折扣再对半砍,跑满一天你都花不出硬件的电费。今年双十一,Token更是首次以独立品类摆上电商货架,开售首日淘宝Token品类成交额环比涨450%。连用功率计实测出6千万Token只花7毛电费、比API便宜17倍的博主,都照样劝个人别入坑。“免费用"和"买硬件免费用”,是两笔完全不同的账。中国新闻网微博

跑GLM的2080Ti们,已经替想本地部署的人交完学费

这三种人可以考虑:要长期离线演示的、批量开并发任务做私有化小集群的,以及数据不能出房间的——比利时安全公司Aikido基于GLM-5.3发布了开放权重安全模型Altar‑1,让源代码、系统架构和未修复漏洞无需发送给外部AI服务商。你买的不是速度,是"可控"。微博

最后回到开头:GLM-5.5的参数量和档期,官方到现在一个字没提。别把买卡预算押在一个还没出现的模型上。306GB的权重已经躺平,能不能跑、跑多快,先把抽屉里的旧机器点亮算一遍,再决定掏不掏钱。

内容由AI生成

精选参考来源

1. 【DAY20】来和本狐打雪仗!顺便把 GLM5.5 的假消息埋进雪里

2. 一个没人认识的模型,六天冲到第一|GLM-5.3 Flash

3. 2026年春天,一个叫Coding Plan的AI编程套餐在二手平台上被炒出了溢价

4. GLM-5.3-Flash/FlashX - 智谱AI开放文档

5. #智谱发布GLM5.3Flash# 定位:兼顾前沿能力与低成本的原生多模态模型

6. 🐮GLM-5.3-Flash 今天上线并开源

7. GLM 5.3 Flash是国产芯片提供的推理!

8. 【实测】英伟达16卡v100 512G超大显存部署GLM-5.3-Flash 320B-A18B FP8模型

9. 纠结!两张2080ti和便宜量大的ddr3也能跑glm5.3-flash(maya),速度怎样?

10. 8张V100超频到250瓦干崩两个拖线板保险丝

11. 最近自部署了glm 5.3 flash,104g显存跑maya 2bit量化实测

12. GLM-5.3 flash在sglang开DFlash 2加速实测40~50tok/s

13. 【分享】4090算力解锁实测及模型部署

14. Token登上“双十一”货架

15. 3张特斯拉显卡横评,V100跑Qwen3.8-flash实测,比API便宜17倍

16. 最敏感的代码,应该交给最强的云端AI,还是留在自己的机房里?

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章