什么值得买App下载 App ›
连续签到专享现金活动

640列只算了160列,字照样通顺:本地AI引擎该不该跟着周更

Strata 0.2.16 的更新说明里承认了一个 bug:苹果 M1 到 M4 上,某些层的矩阵运算,640 列里只算了 160 列。哔哩哔哩小红书

四分之三没了。不报错、不崩溃,文字照样通顺,短回答肉眼看不出来。修完拿同一批提示复测,top token 对不上的从 3 条降到 1 条。官方还补了一句:他们手上没有 M1 到 M4 的机器,这个结果是拿一台 M5 Max 强制跑旧内核测的。哔哩哔哩

640列只算了160列,字照样通顺:本地AI引擎该不该跟着周更

五天三个版本

这不是孤例,是节奏问题。0.2.14 在 11 月 15 日发布。0.2.15 只隔了一天。0.2.16 落在 19 日,动作最大:NVIDIA、AMD、Intel Arc、Mac 四个平台的矩阵内核全换成自研,不再依赖 ggml 和 llama.cpp。连图片读取模块都重写了,文件从 5386 万字节缩到 81 万字节。小红书哔哩哔哩哔哩哔哩小红书

顺带一个坑:Strata 有两套版本号,App 是 0.2.x,引擎是 0.1.x。Intel Arc 和 DGX Spark 的引擎这轮停在 0.1.59,等于没更新。哔哩哔哩

数字先打个折

周更带来的第二件事,是数字通胀。

Basalt 是 Strata 的衍生分支,只针对 50 系显卡。官网写填充快 2 倍、解码快 1.7 倍,UP 主实测是快 52% 和 45%。另一位 UP 主拿同一个 200K 上下文的真实任务分给两个引擎接着做,实际任务提速 18%。哔哩哔哩哔哩哔哩

AlphaLlama 厂商号的视频标题是“提速 14 倍”:同一张 RTX 3090,Ollama 跑 44 token/s,它的极速模式改代码冲到 659.2 token/s。极速模式靠投机解码加提示查找,把已有内容直接复用,同时放宽校验。哔哩哔哩

640列只算了160列,字照样通顺:本地AI引擎该不该跟着周更

同厂商的通稿自己给了收敛口径:三张显卡、25 个提示,总体约为 Strata 的 1.09 倍,27B 日常聊天约每秒 140–190 个 token。知乎

前 DeepSeek V1 作者张博这周开源了个人 Agent Linger,官方数据是 12GB 的 RTX 3060 配 64GB 内存,就能跑 125B 的 Qwen3.8-Flash-Next,45.5 tokens/秒。做法是把最活跃的专家放显存、次活跃的放内存、最少用的扔给 SSD。36氪

0.2.14 也一样:读提示快了,同一批数据里却写着 RTX 5090 的聊天输出从 274.0 掉到 254.2、5070 Ti 从 19.4 掉到 17.5。哔哩哔哩

连 0.2.16 给了几个速度数字,两份解读都没对上。一份说通篇只有一处,Tesla V100 上 2.6 万 token 长提示从 17464 毫秒降到 15068 毫秒。另一份报了双 RTX 4090 从 136 提到 201 tokens/s。至少有一边不准,先按存疑处理。哔哩哔哩小红书

读数字就问三句

什么任务?改代码、大量复用输入的场景能靠提示查找刷出天文数字,跟日常聊天不是一个量级。

几路并发?同一张 RTX 5090,单任务时 Basalt 的 prefill 有 6950 tok/s,8 个任务一起跑降到约 2000,Strata 还稳在 5100。单路冠军不等于多路冠军。小红书

640列只算了160列,字照样通顺:本地AI引擎该不该跟着周更

跑分还是真任务?跑分快 52%、真任务快 18%,两个数都没错,但只有后者跟你的体感有关。

升级之前

Windows 上先注意:从 0.2.15 升级,一次 `strata update` 可能只升 App、把引擎留在 0.1.60,得补一句 `strata update --force`。哔哩哔哩

升完别用“看起来还行”验收。那个 bug 已经证明:短回答正常等于没验,得拿同一批提示比 top token。

还有两件事跟这轮红利无关。Basalt 只吃 50 系 Blackwell,A 卡和老 N 卡吃不到。Strata 自 0.1.43 起的 AMD 优化只针对 RDNA 4,RX 7900 XT/XTX 不在名单里。哔哩哔哩哔哩哔哩

640列只算了160列,字照样通顺:本地AI引擎该不该跟着周更

有位用户在 0.2.16 那条视频下的回复拿了 7 个赞,说这项目“有点任性”,支持什么、放弃什么都是一句话的事。哔哩哔哩

周更时代,“装完就一劳永逸”这个前提没了。你至少得知道自己在跑哪个引擎号——不然它少算了四分之三,你都不会知道。

评论

评论区空态插画

当前文章无评论,是时候发表评论了