什么值得买App下载 App ›
连续签到专享现金活动

文字照样通顺,算得却少了四分之三:Strata四天连发三版

本地跑大模型的人,这两天大概都刷到过 Strata:一个由开发者 Niko Veit 做的开源本地推理引擎,让普通消费级电脑也能跑起 Qwen3.8-Flash-Next 这种大模型,GitHub 星标已经接近 4.6 万。而 11 月 15 日到 18 日这四天里,它连发三个版本,把 NVIDIA、AMD、Intel Arc 和 Mac 四个平台的引擎全换成了自己的代码,不再有 ggml,也不再用 llama.cpp 的矩阵 kernel。小红书哔哩哔哩GitHub

搬完,官方在 release notes 里认了一件事:上一版在 Mac 上给出的是错误结果,不报错也不警告。交上这个修复的人 10 月 25 日就提交了 PR,11 月 18 日才随版本发出来,中间隔了 24 天。GitHub

文字照样通顺,算得却少了四分之三:Strata四天连发三版

640 列,只写了 160 列

问题出在 K 量化包上:M1 到 M4 的 Mac 跑 Q4_K、Q5_K、Q6_K 这类包时,Strata 默认的 prompt 路径只算出每个专家 gate/up 输出的四分之一——那一层 640 列,只写了前 160 列,剩下的从没被写进去,可后面的 down projection 照样把它们读了。不报错,不警告,文字依然通顺。GitHub哔哩哔哩

官方给的对照是:6 条 512 到 8,192 token 的提示,首 token 的 KL 差异从 0.303 降到 0.0068,top token 对不上的从 6 条里的 3 条降到 1 条。也就是说修复前,一半的提示连第一个词都跟参考实现对不上,而你读着毫无异样。GitHub哔哩哔哩

文字照样通顺,算得却少了四分之三:Strata四天连发三版

修好之后,慢了 23%

代价写在同一份 PR 里:prompt 吞吐比修复前低了约 23%,作者的解释只有一句——它现在才真的把之前跳过的活干完了。这大概是这四天里最该被抄下来的一句话:你以为的提速,有可能只是没算完。GitHub

文字照样通顺,算得却少了四分之三:Strata四天连发三版

24 天没人发现,其实不奇怪

官方 0.2.16 的 release notes 里,Mac 那组修复数据是在一台 M5 Max 上强制跑旧 kernel 测出来的,原话是我们手上没有 M1 到 M4 的 Mac。Known problems 一栏也直接写着,Mac M1 到 M4 未测试。哔哩哔哩GitHub

更早还有一次:PR #2903 修的就是同一个 bug,但它在 0.2.0-beta 的追踪器重置里被关掉了。GitHub

三天里它还干了什么

11 月 15 日 v0.2.14,只干一件事:把读提示那一步从 llama.cpp 的代码换成自己写的 GPU kernel。海报数字很好看:Strix Halo 上 256 token 提示从 2,010ms 掉到 408ms,RTX 5090 读 32K 提示从 6,851 涨到 7,870 tok/s。但那个五倍来自发布前的测试构建,不是出厂版。哔哩哔哩哔哩哔哩

同版也掉速:RTX 5090 的聊天输出 274.0 → 254.2,RTX 5070 Ti 19.4 → 17.5,Intel Arc 和 DGX Spark 的引擎干脆停在 0.1.59 没动。Mac mini M4 32G 更是读取、输出双降,AMD 7900 的两份社区报告结论直接打架。哔哩哔哩哔哩哔哩

11 月 16 日 v0.2.15:引擎一个字节没动,还是 0.1.60,跟 0.2.14 是同一批文件。最实在的一条修复是,你在设置里把 Drafting 关掉,安装就不会再去要那个约 5GB 的 MTP 草稿层。哔哩哔哩GitHub

11 月 18 日 v0.2.16:app 和终端是 0.2.16,四个平台的引擎统一到 0.1.62。图片读取器也换成自研,那个文件从约 54MB 压到 0.8MB。GitHub小红书

换内核最怕答案变了,所以它给了一张逐 token 对比表:10 条提示(聊天、代码、工具调用、长粘贴、中文、德文、图片),RTX PRO 5000 9/9、Tesla P100 10/10、Radeon R9700 10/10、Arc A750 9/9、M5 Max 10/10、Strix Halo 文本 9/9 一致,三条例外也逐条写明。GitHub哔哩哔哩

速度上它没多承诺,整篇 release 只有一处硬数字:Tesla V100 读 26,000 token 提示,17,464ms 降到 15,068ms。Blackwell 卡的 CUDA 12 引擎首次响应倒是从 173.0 秒变成了 0.34 秒。哔哩哔哩GitHub

文字照样通顺,算得却少了四分之三:Strata四天连发三版

社区并不一致

评论区最热闹:有人升级后觉得模型变傻了、又退了回来。也有人说更新完 0.2.14 和 0.1.60 引擎并不快,感觉反而慢了些。7900 XTX 更夸张:到底升不升 0.2.14,两份社区实测一份说快 17%、一份说慢 40%。哔哩哔哩哔哩哔哩哔哩哔哩

知乎一位 4090D 24G 用户给了个更扎心的对照:Strata + Qwen3.8 Flash Next IQ2XS 跑到 97 tok/s,一个代码审查任务花了 4 分 2 秒;llama.cpp + Qwen3.8 27B 只有 55 tok/s,2 分 3 秒就交了活。tok/s 高,不等于活干完得快。知乎

分支也开始冒头:Basalt 是专门给 50 系显卡做的衍生分支。Avalon 则在一块二手 RX 7900 XT 上以 47% 的优势击败了 Strata,而那正是 Strata 维护者从没跑过的一张卡,只是那次对比用的 Strata 版本在发布当天就已经落后七个版本,到今天落后十四个。哔哩哔哩哔哩哔哩

三条能直接用的

一,Mac M1–M4 跑 K 量化包的,这版必升。官方 release 里对这批人只写了一个词:update。升完发现 prompt 慢了 20% 多,属正常,它终于把活干全了。GitHub

二,看引擎版本号,别只看 app 版本号。Windows 从 0.2.15 升上去,一次 `strata update` 可能把引擎留在 0.1.60,界面会提示 Engine 0.1.60 NOT changed,官方给的办法是再跑一次。哔哩哔哩GitHub

文字照样通顺,算得却少了四分之三:Strata四天连发三版

三,验证本地模型别拿“读着通顺”当标准。照 Strata 的做法:固定同一批提示,比 top token 一不一致——短回答看着正常,等于没验。哔哩哔哩


本地部署最容易犯的错,是把“能出字”当成“算对了”。Strata 这四天最值钱的不是那 4.6 万颗星,而是它把一张逐 token 的对比表,和一句“我们手上没有 M1 到 M4 的 Mac”,一起摆在了台面上。

评论

评论区空态插画

当前文章无评论,是时候发表评论了