GLM-5.5还在传闻里打转——32B、122B、256B的"版本曝光"满天飞,官方至今对参数量和发布时间一个字都没公布。而另一边,有人已经把压箱底的2080Ti擦亮,本地跑起了全网喊作"牛来"的GLM-5.3-Flash,一秒18个token。哔哩哔哩
先补剧情:8月20日,匿名模型Ox-Alpha在OpenRouter免费上线,几天内直接冲上调用量榜首、连平台纪录都一起刷了。8月26日智谱认领并开源:320B总参数、单次推理只激活18B,是首个采用稀疏+线性注意力混合架构的开源前沿模型。Artificial Analysis综合智能57分,和Claude Opus 4.8打平,API定价是GLM-5.3的1/10、Opus 4.8的1/40。灰度期这些流量还全部由国产芯片扛住。哔哩哔哩微博智谱开放平台微博小红书微博

18B激活凭什么跑高分?官方文档写了:注意力计算量比GLM-5.3省3.01倍、KV缓存小4.44倍,上下文窗口1M。但硬币另一面:满血FP8权重重306GB,普通8卡机箱连门都进不去。智谱开放平台哔哩哔哩

三个月过去,第一批真金白银上手的人,把坑全踩完了。
企业级玩法:16张V100凑机房。有博主把GLM-5.3-Flash的FP8原生模型跑在了16张V100上,完成加载、起服和推理。TP8+PP2的配置听着唬人,但据评论区报数,解码只有15 tok/s上下,待机就要吃掉近1000瓦,光显卡大几万。有人算完账直接破防:电费加硬件折旧,怎么算都拼不过官方API。博主自己给这套机房的定位也很坦白——企业PoC、客户Demo、长文档问答,不是拿来日用。还有人把8张V100从163瓦超到250瓦,标称2500瓦的拖线板先烧了两个。哔哩哔哩微博

穷玩法靠量化。社区为GLM-5.3-Flash专门做了开源推理项目Maya:有人拿X99主板+两颗E5+DDR3的洋垃圾主机配两张2080Ti跑Maya量化版,预填充400-600 tok/s尚可,解码约18 tok/s。评论区看乐了:"跑到天荒地老。"宽裕点的方案,Pro5000-72G加V100S凑104G显存跑2bit量化,prefill能上1500 tok/s、解码50 tok/s。博主结论依旧:"不见得比云端省钱。"用sglang加DFlash2加速的实测也只有40-50 tok/s。哔哩哔哩微博微博
新卡也救不了。玩魔改48G版4090的博主实测:跑这类大模型,双卡4090方案基本没有并发能力,算力解锁加低精度量化只换来约10%吞吐提升。他原话是:“日常跑量化确实白忙。”哔哩哔哩
所以谁该掏钱?15、18、50这三个数字已经把答案钉死。
个人重度用户先别买。官方套餐价格表就长这样,限时折扣再对半砍,跑满一天你都花不出硬件的电费。今年双十一,Token更是首次以独立品类摆上电商货架,开售首日淘宝Token品类成交额环比涨450%。连用功率计实测出6千万Token只花7毛电费、比API便宜17倍的博主,都照样劝个人别入坑。“免费用"和"买硬件免费用”,是两笔完全不同的账。中国新闻网微博

这三种人可以考虑:要长期离线演示的、批量开并发任务做私有化小集群的,以及数据不能出房间的——比利时安全公司Aikido基于GLM-5.3发布了开放权重安全模型Altar‑1,让源代码、系统架构和未修复漏洞无需发送给外部AI服务商。你买的不是速度,是"可控"。微博
最后回到开头:GLM-5.5的参数量和档期,官方到现在一个字没提。别把买卡预算押在一个还没出现的模型上。306GB的权重已经躺平,能不能跑、跑多快,先把抽屉里的旧机器点亮算一遍,再决定掏不掏钱。