如果你是那种已经"跑通"了、但最近三周刷本地大模型圈刷得有点FOMO的人,应该已经发现:从10月初开始,这个圈子进入了"引擎发布周"。Magnitude在10月1日出现,卖点是给你的芯片现场编译算子、Metal下解码比llama.cpp快92%。10月4日,Redis作者antirez开源了ds4(DwarfStar4),一个为大内存Mac和CUDA、ROCm平台打造的纯C端侧推理引擎。10月16日,MoE4All 1.0.3在A卡上贴出自报:35B q6量化,解码201t/s、预填充3600t/s。可与此同时,有人拿冻结题包跑IQ3_S量化,编程长任务直接死循环;有人盯着内存条价签,犹豫要不要把刚买的32G拆开卖。微博微博哔哩哔哩
这篇不是写给还没装过Ollama的入门同学,也不是写给已经拿192G统一内存跑493B的少数人,而是写给手里一张12–24G的N卡(或者一张半老的A卡)、模型已经能跑起来、正在纠结要不要换引擎的人:你要解决的问题不是"能不能跑",是"这张表的座位有没有我的,以及我看到的数字到底在说哪本账"。
一、先把十个引擎排排坐
这份名单只收这3周真实出现在社区里的项目,所有数字我都标清了是"官方自报"还是"社区自测":
引擎 | 背景 | 出现时间 | 它在说什么 | 它报出来的数字 |
|---|---|---|---|---|
Strata | 独立开发者Niko1221,GitHub已2.6万星 | 9月底爆火,10月持续热更 | 12G显存跑Qwen3.8-Flash-Next 125B | 官方说93t/s;同一配置有人测出140t/s开256K上下文,也有人只跑到30多 |
FreeToken | 伯克利+MIT开源 | 8月下旬 | 显存不够,专家流式上卡 | Qwen3.6-35B在8G RTX4060笔记本39t/s;5080-16G跑20GB模型约100t/s |
Colibri | 纯C,零依赖 | 7月下旬 | 25GB内存跑744B GLM-5.2 | 专家从磁盘按需流式加载,LRU缓存+路由预取 |
ninfer | 专为单张5090优化的引擎 | 9月上旬 | NVFP4,766.6t/s | 注意:这是8并发总吞吐,不是单请求速度 |
Splash | Inco出品,面向Apple Silicon | 9月中旬 | 逐模型专门调优 | 27B四比特量化:短上下文74t/s,32K长上下文54t/s |
Magnitude | 开源,面向Agent | 10月初 | 现场编译调优算子 | 自称Metal下解码比llama.cpp快92%;单Agent显存-27%,并发会话共享前缀缓存 |
ds4(DwarfStar4) | Redis作者antirez | 10月4日 | 不做通用妥协,针对DSv4.1F、GLM5、Qwen3.8等几个大模型端到端调优 | 大内存Mac、CUDA、ROCm三平台 |
MoE4All | 1.0.3,显存/内存/SSD分级调度 | 10月16日 | Vulkan统一架构,Windows/Linux,AMD、NV都覆盖 | AMD卡跑35B q6自报201解码/3600预填充 |
Llama for Windows | HF×llama.cpp团队联合 | 10月17日 | WinUI3+HF模型库深度集成,“Windows版LMStudio” | 官方一个速度数字都没给 |
GGUFStudio | 独立轻量加载器 | 10月15日 | 能接云端API,可当Agent基座 | 它不在速度赛道,在加载赛道 |
名单排完,第一个结论其实很朴素:这些引擎不是十条路线,是同三个戏法的不同讲法。
二、三个戏法,对应三本账
戏法一:把显存账单挪到内存(甚至SSD)账上。 Strata、FreeToken、Colibri、MoE4All是一家人——把"热专家"留在显存里,其余从RAM/磁盘流式搬运。FreeToken流传最广的自测是16G显存的5080装下20GB模型还能跑到约100t/s。Colibri的说法更极端,纯C实现把744B的GLM-5.2仅靠25GB RAM就在消费级机器上跑起来,专家参数按需从磁盘流式加载。微博微博
所以"12G显存跑125B"是真的,但Strata官方推荐的配置也直接把账本摊开:12G以上显存+64G内存加NVMe。速度数字之所以方差巨大,根源也在这里:这类引擎的解码速度瓶颈在内存带宽,不在显存容量。项目方说12GB显存能跑到90 tokens/s,有人实测只有30多。知乎微博
另一些人则在评论区晒出5070Ti预填充3300t/s、解码峰值110t/s——注意这两个数字本来就是两本账。评论区试过双卡的人总结得更冷:普通显卡和主板别折腾双卡,一般都是带宽瓶颈,双卡就算完全一样收益也很低。哔哩哔哩哔哩哔哩
戏法二:专门化,而不是通用。 Magnitude、Splash、ninfer、ds4走的是另一半——不动账单,优化内核本身:针对你的芯片现场编译算子、针对单个模型端到端调优。ninfer为单张5090跑Qwen3.8-27B专门优化,最高用NVFP4、8并发跑到766.6t/s。所以这个数字要看清条件:它是并发总吞吐,不是"你一条请求766t/s"。Splash自己就给了两行数字——短上下文解码约74t/s,32K长上下文约54t/s。看到"比llama.cpp快X倍",先问三个问题:什么基线、什么量化档、单请求还是并发吞吐。微博微博
戏法三:投机解码和批量调度。 Strata v0.1.43.1这轮热更把双卡批量服务提速约35%归到自己账上。这类加速的真实成本我们之前拆过一次:开了投机解码,你跑的可能已经不是原模型,这里不重复展开。知乎
三、账单的另一半,社区已经先踩了
93t/s那条爆火视频的评论区,获赞458的一条不是速度,是测评帖:IQ3_S量化版和原版API对跑,数学推理"略微落后"还算客气,编程长任务"因为死循环导致分数塌陷严重"。下面还有一句更直接的:“量化到Q4以下,质量都是严重塌陷,循环断流非常常见,实际没有用处。”哔哩哔哩
内存那本账算得更直白:评论区有人提醒,这项目友好64G内存,至少也得48G,32G又尴尬了。 也有人庆幸自己当年脑袋抽筋插满了128g,还有人反过来懊悔把192的内存拆了96卖。把它接上这半年"API价一路砍、内存条一路涨"的价签一起看,这轮引擎潮的真实含义就出来了:它没有降低本地部署的门槛,它改了你要往哪个插槽里塞钱——显卡、内存、硬盘,都开始分担原来只有显存干的活。哔哩哔哩知乎
还有个分圈层的账。Strata评论区高赞说,Strata已经杀死了Moe本地部署的比赛,底下马上有人回:不,还没覆盖AMD卡。上周之前这确实成立,10月变的是AMD和Windows这条线:MoE4All的Vulkan路线把AMD和NV一起罩进来,评论区已经有RX5700用户自报"用这个比llama快了一倍,整整一倍"。哔哩哔哩哔哩哔哩
反调也得留着,它赞数不低,评论区那句质问很典型:搞这个干嘛,全是劣质token,指望真干活啊,大活用不上,小活没必要。这句对不对,取决于你在下面坐哪个座位。哔哩哔哩
四、按卡分座位:谁能上桌,谁等一轮,谁别上
12–24G N卡 + 64G内存:唯一已经进场的主会场。Strata生态最全(Windows/Linux一键脚本、版本一周一更),实测党晒出老4090跑125B能到140 Token/s、还能开256K上下文。但别把显存相加当实力,五卡88G的实测结论是"怎样分工,比显存相加更重要"。换引擎前先过三道验收:自己的冻结题包跑两三个真实长任务(专测死循环)、同一问题连问3次看一致性、盯一整轮的内存峰值而不是显存占用。哔哩哔哩知乎
8G及以下N卡:评论区"8G显存+32G内存能用,25t"已经是这个座位的上限——能跑,但别指望干活。诚实的选择是面壁9月7日放出的MiniCPM5-2B(AA端侧榜单前六)那类小模型,不是125B。哔哩哔哩哔哩哔哩
A卡/旧卡(mi50、RX5700):这轮第一个被当人看的人群,MoE4All值得装,但201t/s目前只有作者自己一句话——发帖前先跑自己的题包,别替别人的演示当免费流量。
Mac统一内存党:Splash和ds4是两条不同路线(逐模型专门调优/纯C端到端),FreeToken社区测试里也有Mac的身影。它们的数字都还挂着"自报"前缀,抄作业前先对题。
想让模型干活(Agent用户):表里只有Magnitude的数字是盯着"干活"的——单Agent显存降27%、并发会话共享前缀缓存。但它刚发布,还没有第三方题包,先观望再切主力。
只想在Windows开个官方工具玩模型:Llama for Windows值得装,它就是WinUI3框架+llama.cpp底层、和HuggingFace模型库深度集成的桌面端,可以看成另一个LMStudio。但官方一个速度数字都没给,你的预期要对:你买的是"不用再折腾环境变量",不是93t/s。微博
五、接下来两周,不用追新引擎,盯四个信号就行
Strata什么时候补上AMD支持——"还没覆盖A卡"这笔账至今没平;
MoE4All有没有第三方冻结题包横评——201t/s成不成立,看这个;
Qwen4权重落地时间——llama.cpp已先合入架构,新引擎的支持顺序就是它们维护活跃度的真机测试;
双十一前的内存条价格——引擎潮的账单最终落在内存上,价格再涨,"推荐64G"的成本会直接变成你的成本。
一句话总结:这轮引擎潮不是把125B推给了8G卡用户,而是把"该选哪张座位"这个决策,推给了16–24G的用户。引擎能替你决定的是token输出的速度,不能替你决定的,是这些token里有没有你要的活。
你的卡和内存坐哪一档、换完引擎踩了哪本账?评论区就是这张表最好的横评样本库。
