3.7万星的小蜂鸟把744B的GLM-5.2塞进了笔记本：速度、硬盘、适配人群三笔账，我替你算完了

9月26日，量子位把一条东西重新推回信息流：25GB内存的笔记本硬跑744B的GLM-5.2，不用GPU，SSD直接当显存用。主角不是新模型，是GitHub最近最火的开源小蜂鸟colibri——用量子位的原话说，“它最早是冲着GLM-5.2来的”。知乎

我把仓库、Hacker News帖子、四组社区实测和几篇知乎拆解翻了个遍，还直接调了GitHub接口拉了实时数据，把这笔账算清：它是不是真能跑、跑出来多慢、你的机器该不该装。先给结论："跑"是真的，“聊"是没有的，但它把一类人等了很久的门槛，从"机房"拽到了"一台大内存笔记本”。

一、先看它凭什么火

colibri（意大利语"蜂鸟"），JustVugg/colibri，纯C实现、Apache-2.0协议，引擎本体就一个单文件C代码——不带BLAS、运行时不碰Python、不要CUDA，仓库的口号就一句：Tiny engine, immense model。 2026年7月1日建的仓库，两个月一路冲上GitHub趋势榜。GitHub

星数轨迹我给各位排一下，两个带日期的快照加一次实时抓取：9月13日（GitHub Trending当日记录）28,892星；9月16日晚博主实时抓取33,335星、3,493 fork；我写这篇时直接调API：37,716星、4,086 fork、最近一次提交发生在9月26日凌晨（北京时间）——两个月，从零到一个3.7万星的社区。Hacker News上那条"我用25GB内存笔记本跑起了744B"的帖子拿了453个赞，最高赞评论就一句：This is the hacker spirit。知乎

它干的事只有一件：把显存、内存、硬盘当成同一层存储来调度。模型两万个专家不用全装进内存，哪个token需要哪些专家，就从盘上读哪些上来。SSD，就当显存用。

二、744B为什么能塞进25GB内存——账算平了

744B听着吓人，但GLM-5.2是MoE（混合专家）架构：每个token只激活约400亿参数，占总量的5%。知乎一篇私有化部署拆解把账算得更细：这400亿里，注意力层、共享专家、嵌入层这些"每个token都要用、从不变化"的Dense部分约170亿参数，int4量化后常驻内存只要9.9GB；真正随token更换的，是被路由选中的专家——75层MoE、每层256个、外加MTP头，约两万个专家，平均每个19MB，全躺在NVMe上，摊到每个token头上约11GB磁盘读取。知乎

不变的常驻内存，变的从盘上按需读——这就是"25GB跑744B"的全部秘密。

光流式读取会被磁盘延迟卡死，引擎又叠了三层机制：Router-Lookahead预取（相邻MoE层之间的路由路径有71.6%的可预测性，提前异步加载下一层大概率要用的专家，读盘和计算并行）；学习型缓存（把每轮实际命中的专家记在`.coli_usage`里，最热的一批直接钉在内存，用得越久越快）；每层LRU再白捡一层系统page cache。另外MLA把KV Cache压到每token只有576个值，约是传统方案的1/57——这就是GLM-5.2那个1M上下文敢在你内存焦虑的笔记本上开的原因。知乎

三、速度账：最狠的数字是那个"200倍"

把散在各处的实测排成一张表，从慢到快：

另一边，智谱云端9月18日前后上线的GLM-5.3-FlashX，峰值200 tokens/s。 同一个GLM家：云上200，笔记本上1，差着两个数量级。README官方benchmark也只有约1.8 token/s——按部署拆解那篇文章的说法，这个基准配置下就是"写信，不是聊天"。知乎知乎

但colibri README里有句话在当下很罕见：对速度不做任何承诺，对语义做硬性保证——内存不够只会变慢，绝不偷偷改精度或路由语义。 换句话说它"能跑"是诚实的：你跑到的就是那744B本身，不是缩水替身。MTP推测解码能把单次前向产出拉到2.2–2.8个token，前提是MTP头必须用int8。知乎

四、装机前，六个坑我替你踩过了

1. 模型页名字不是笔误：GLM-5.2的int4容器约372GB，下载就是一晚上的事。 那个"int4-with-int8-mtp"版本号里藏着上一条说的坑，全int4版本接受率会崩到0–4%。知乎

2. SSD寿命是隐形成本：冷态每token要从盘上读约11GB，高频随机读对消费级固态很不友好，这不是电费账，是换盘账。

3. "用得越久越快"意味着前几天最难熬：学习缓存需要时间把热专家钉进内存，第一天0.5 tok/s别急着骂街。

4. 一个人维护，没有第三方审计：性能数据全部来自README和社区自测，上生产前自己压测——仓库里那个Profiling面板就是给你自查用的。

5. "不需要GPU"要分档理解：笔记本档是拿IO带宽换内存；官方文档的硬件阶梯图从25GB笔记本一路画到6×RTX 5090，服务器模式下（`PIN_GB=all`）专家全量常驻显存、磁盘彻底退出解码路径，那才是它的上限；README还给了一个可复现的数字——两块独立NVMe做加权条带读取，解码实测+37.5%。GitHub

6. 格子的边界要拎清：要高并发、低延迟服务真实流量的，它是vLLM+GPU集群的活；想要CPU+GPU混合的，KTransformers更成熟，但要Python/PyTorch/CUDA一整套环境，部署重量完全不是一个量级。llama.cpp同样是纯本地零依赖路线，但GGUF得整体装进内存/显存，744B这个体量根本装不下。colibri卡的就是"模型可以比内存大"这个此前没人占的格子。知乎

五、这只蜂鸟到底适合谁——三档对号，两档劝退

适合：

• 内网、涉密、数据不能出域：零依赖等于攻击面极小，没有Python供应链可以投毒，一台普通服务器就能扛旗舰。 7月知乎有人问"GLM-5.2开源了为什么API还那么贵"，高赞答案说得直白：开源，就是为了让你自己部署。 以前这个选项要求你买卡，现在它只要求你会装。知乎知乎

• 低频异步任务：夜间批量、离线文档分析这种"睡一觉看结果"的活，0.5 token/s也够用。

• 研究和调试：不租H100就能观察两万个专家的路由行为，仓库自带Brain Dashboard，能看着专家此起彼伏地被点亮。注意：入门建议别从GLM-5.2开始，先跑7GB的OLMoE把流程走通。知乎

不适合（真的别装）：

• 想替代日常聊天的——云API花小钱买的是200倍速度，体验账算不过来；

• 硬盘是128GB小SSD的——372GB连门都进不去。

六、为什么智谱用户该把它放进关注列表

9月21日B站实测视频里，本地党的姿势还是"8张二手3080跑GLM-5.3本地实测"。 行业默认的解法是堆显存、堆机房。而GLM-5.2是智谱的开源旗舰，744B总参数、28.5万亿token训练量，6月就把权重放到了个人够得着的地方。 colibri则把"跑得起"的门槛从GPU池降到一台大内存笔记本加大硬盘。README那句对比我原文抄给各位：Not renting intelligence behind an API — holding it。 不是"在API后面租智能"，而是持有它。前沿模型第一次变成一个普通人可以自己持有、自己测量、自己改的东西——代价是写信的速度。哔哩哔哩知乎GitHub

接下来值得盯的信号：智谱官方对colibri会不会有表态、甚至给官方量化包；双SSD镜像+64GB内存档的社区调优，能不能把消费级小机器推到5 token/s以上；Kimi K3那条2.8T的线实测数据出来后，IO的真实极限会不会露底——32GB内存"挑战2.8T"目前还只是标题。

一句话收尾：这只蜂鸟能不能"跑"，3.7万个star已经投过票了；"该不该装"取决于你账里要的是什么——隐私和持有，就装；速度和体验，就用云。