25GB内存跑7440亿参数模型,速度慢到离谱但它真的能跑
屏幕亮了,光标闪了几下。五秒,十秒,屏幕上终于爬出一个字。再等十秒,又一个字。这台只有25GB内存的普通笔记本里,正塞着一个7440亿参数的庞然大物——GLM-5.2。而把它塞进去的,是一个叫Colibrì的开源推理引擎。1
25GB内存,凭什么跑得动7440亿参数的模型
换句话说,内存装的是“工作台”,存储盘才是真正的“仓库”。Colibrì作者vforno在Reddit上说得很直接:“速度从来不是目标。重要的是让这件事能够发生,哪怕慢一点。”6
它到底有多慢
换台机器,能快多少
| 硬件配置 | 关键参数 | 实测速度 |
|---|---|---|
| 作者开发机 | 12核、25GB内存、WSL2 NVMe | 0.05–0.1 token/s |
| Framework 13 | Ryzen AI 9 HX 370、128GB内存 | 0.37 token/s |
| Apple M5 Max | 18核、128GB统一内存、内置SSD | 1.06 token/s |
当前文章无评论,是时候发表评论了