如果你最近刷本地推理的内容，大概率躲不开一个词：colibri。
一句话的传播版本很抓人：不用显卡，8G内存，硬盘里跑744B大模型。再配一句"GitHub两个月3万多星"，很难不心动——尤其是那些被"显存焦虑"劝退过、一直没舍得买卡的人。
这项目7月1日才建仓，两个半月冲到3.4万星（9月中旬快照），9月13日刚发布v1.11.0，支持的模型家族扩到第九个，最大已经吃到Kimi K3的2.8T。B站、知乎这一波是9月14日到18日集中起来的，我把它当成一个正经的消费决策题来算：要不要为它花钱升级硬件？结论先说：技术上全是真的，但钱先别急着花，账要倒过来算。哔哩哔哩
它凭什么"不用显卡"：一句话讲透
先补个课，不然后面所有账都看不懂。
现在的前沿大模型基本是MoE（混合专家）架构，可以理解成分科医院：模型总共有几百个"专家科室"，但你说一句话，挂号只去其中一两个科室，其他科室闲着。以GLM-5.2（744B）为例，每个token真正激活的只有约400亿参数，其中逐token变化的只有约11GB。知乎
colibri（意大利语"蜂鸟"）的做法就顺理成章了：把显存、内存、硬盘当成同一层存储——66层稠密部分（约17B参数）压成int4常驻内存，只占约9.9GB；剩下的一万九千多个专家、合计约370GB，全部躺在硬盘上，路由到谁才读谁，读的时候一次pread连续读入，还有个"路由器前瞻"线程提前预取下一层（官方称下一层路由有71.6%可预测性）。作者管这叫"a JIT, but for weights"——权重的即时编译器。知乎知乎专栏
所以"8G内存跑744B"没有骗你，它只是把瓶颈从显存换成了别的东西。换成了什么？往下看。
速度真相：把各家数字摊在一张桌上
这是单个UP主视频里看不到的部分，我把官方README、小众软件实测、开发者自己给的估算阶梯放在一起：
机器配置 | 速度 |
|---|---|
Intel Ultra 7 + 24GB内存（纯CPU） | 0.07 tok/s |
Mac mini M4 Pro 48GB（Metal加速） | 0.30 tok/s |
Ryzen 9950X + PCIe 5.0 SSD | 0.28 tok/s |
EPYC 7443 + 430GB内存 | 1.00 tok/s |
128GB内存纯CPU桌面（官方口径） | 约1.8 tok/s |
单张RTX 5070 Ti笔记本 | 1.07 tok/s |
M5 Max（优化后） | 2.06 tok/s |
六张RTX 5090（官方README） | 5.8–6.8 tok/s，首token约13秒 |
开发者本人给的估算阶梯更直白：25GB内存+1GB/s的NVMe，0.05–0.1 tok/s；32GB+PCIe 4.0，0.5–1；64GB+PCIe 5.0或双NVMe RAID，2–4；要到5–15 tok/s的"可交互"速度，得128GB以上内存配24–32核CPU或AVX-512。 对照一下你的常识：正常聊天体验大概要20 tok/s起步。也就是说，绝大多数人现有的机器，用它跑744B是"一秒蹦零点几个字"的水平。B站评论区那位算得最狠的网友：按每秒1个token，他每天2亿token的用量要连续跑6.3年、耗电13800度。“几分钟吐1token图个啥，等待电费都要比API价格高了”——这类吐槽在评论区不是个例。 这也解释了为什么同一个项目，有人吹"转折点"，有人说"完全不具备实用性"。两边都没说谎，差的只是硬件和预期。知乎哔哩哔哩哔哩哔哩
第一笔账：硬件账——想跑得"能看"，要花到哪一档
如果看到这还想入坑，按官方口径倒推一下门槛：
入门试水：OLMoE约7GB权重，8GB内存就能跑。 这步几乎零成本，老笔记本也能试。哔哩哔哩
跑744B的GLM-5.2：int4容器约372GB，官方建议预留500GB可用空间；内存想上2–4 tok/s，得64GB配PCIe 5.0 SSD或双NVMe。知乎
跑2.8T的Kimi K3：原始快照约1.6TB，32GB以上内存起步。
注意最反直觉的一点：这套方案里显卡是最不重要的。六张5090也才6.8 tok/s——钱花在卡上几乎不提速，真正卡脖子的是内存容量和SSD带宽。知乎上一位折腾了两个月的作者结论一致：小显卡跑大模型，第一个该升级的不是显卡，是内存，底线32G双通道，推荐64G，而且必须是NVMe，机械盘直接出局。知乎
第二笔账：电费和时间账——它跟API根本不是一个价位的东西
评论区吵得最凶的就是这个：与其花电费等它吐字，为什么不直接调API？
这笔账对重度用户是成立的——colibri跑前沿模型的速度，比云端API慢了两个数量级。但有三个场景这笔账反过来算：知乎专栏
隐私刚需：合同、病历、代码，数据不能出本机，API再便宜也跟你无关；
离线批处理：不赶时间、挂机过夜的活，1 tok/s也能跑完；
“持有"而非"租用”：README里有句话说得很清楚——不是在API后面租智能，而是持有它。前沿模型第一次变成一个你可以自己存、自己测、自己改的东西。
第三笔账：SSD寿命账——评论区的新焦虑
“固态的读写是有次数限制的，不要用”——这条评论下面有人反驳"记的是写入寿命"。目前看，专家权重是读操作（pread），真正的写入主要是落盘的KV状态文件（.coli_kv，重启后对话可以热恢复、不用重新prefill）和缓存。SSD磨损问题更接近"值得关注"而不是"实锤劝退"，但1.6TB的Kimi K3反复读下来，硬盘的耐心和你的耐心至少得有一个是无限的。哔哩哔哩
避坑清单：真要玩，这几条能救命
这两个月社区踩出来的坑，比速度问题更值得提前知道：
别用早期的per-row int4量化镜像（mateogrgic、jlnsrk那批）。README现在明确警告：质量差约9个百分点，而且think模式会陷入自我纠错死循环——有用户实测一次跑了30分钟、1050个token没停。要用就用g64分组量化的容器，同一套测试5/5通过。知乎
CPU流式用户建议DRAFT=0。推测解码（MTP）在纸面上能加速，但在6核机器上解码速度直接减半，85%专家命中率附近实测过32%的性能倒扣。
别把服务暴露到公网。v1.10.2刚修了一个image_url本地文件读取的路径穿越漏洞，非loopback部署是受影响面。老版本赶紧升。
8G显存的N卡用户：有个3060 Ti用户做了Ampere分级测试，8GB显存下某些CUDA参数组合会直接崩溃且不报错细节。显卡加速目前是"锦上添花"，不是雪中送炭。
Windows用户有预编译的coli.cmd，不用折腾Linux。
最后：什么人现在就该动手，什么人再等等
适合现在的你：内存32G以上、有高速NVMe、想离线玩前沿模型或者有隐私刚需的人——从OLMoE起步，成本为零。特别适配的是超稀疏MoE，比如Qwen3.6-35B-A3B这种激活参数只有3B的模型，评论区实测反馈"这套办法比较适合这类"。哔哩哔哩
不适合的你：想用它替代日常AI对话的——1 tok/s级别不值得；重度token用户——电费账算不过API；只有机械盘或8G内存老机器的——先升级或者直接放弃。
我自己的观察信号是它README里那句话：“对速度不做任何SLA，对语义做硬性保证”——内存不够只会变慢，绝不偷偷改精度。在"为了跑分什么都敢砍"的环境里，这个态度值得多看一眼。两个多月把门槛从"数据中心级预算"拉到"大内存工作站+一块大硬盘"，这种门槛迁移历史上只发生过几次，后面的事谁也预测不了。但在它把速度差距从两个数量级缩到一个之前，我的SSD预算先按住不动——你也一样。知乎专栏
