昨天全网都在刷Qwen4-Max预览版，但只有云端能玩，开源权重还没放。本地圈同一天也在过自己的节：11月13日，llama.cpp和底层张量库ggml同时打上v1.0.0标签。做了三年半的b号nightly，这款GitHub上13万Star的本地推理引擎，头一次有了正式的稳定版本号。知乎知乎微博知乎
先别急着欢呼，版本号本身不值钱，值钱的是release notes排最前面的那条：MoE专家主机内存缓存。它直接回答了过去两年本地圈被问得最多的一句话——参数总量大、每个token只叫醒一小撮专家，凭什么要把整个模型塞进显存？小红书
拿Qwen3.8-Flash-Next的Q4_0举例，模型文件93.7GB，专家权重独占65.4GB，24GB的4090怎么塞都塞不下。老办法是按层切，整层整层往显存里搬专家，搬上去的里面就混着不少很少被叫到的。知乎
新办法换了思路：专家权重留在系统内存里，显存划一小块当"热专家书架"。贡献者自测的结果是，进显存的专家只有10.7GB，比按层切的16.5GB还少，解码速度反而快六成。书架容量只有专家总量的六分之一，命中率77%；替换策略一个月内迭代了三版，现在的ClassLRU给每个专家记一个随时间衰减的使用分，命中率87.6%。再配一个"缓存没命中就让CPU分担"的开关，把比例从0调到0.95，速度从24.2 t/s涨到47.6。小红书知乎
注意，这些数字全部出自PR作者自己那台EPYC测试机，换模型、换CPU、换PCIe代数都会变。证据只到自测这一步，结论就只能到"值得自己跑一遍"。知乎
几件顺带的实事：
FP8 KV缓存转正，-ctk/-ctv可以选f8_e4m3，按OCP标准8bit存，占默认f16的一半。但写教程的人也提醒：整体显存不会砍半，权重、KV、框架开销是三笔账。知乎哔哩哔哩
CUDA、Metal、Vulkan、SYCL、ROCm五个后端都能吃到新特性，Intel显卡玩家上车。小红书
PLE可以拆成外挂GGUF分片，甚至放另一块硬盘，换量化版本不用反复下载。知乎
llama-server收紧了默认安全设置，还打包了web UI、MCP客户端和JS沙箱，越来越像个本地Agent运行时。
升级提醒，给今天就想动主力机的：第三方一键包大多还没同步，建议直接下官方包替换。直接链接libllama的项目，这次删了35个废弃函数，升级得改代码。主力机上别先替，拿测试机把"能启动、带图、工具调用"跑通，再换真机。小红书知乎知乎知乎
另外那句"API稳定"只承诺C API，性能和命令行默认值都不在保障范围内。知乎
评论区常年两派：llama.cpp"终于转正"派，和Strata"已经跑路"派（“这个年代还有人会用12GB显存的显卡来跑小朋友的35B MoE模型吗？全世界都用Strata了”）。两派其实都没说错：Strata把"显卡算、内存放专家池、固态补缺口"的分工做在前头。llama.cpp这次把专家缓存做进了全部五个后端。更好玩的一条：这批PR的AI辅助声明大多写着YES，做1.0 API清理的人，是在Mac Studio上用llama.cpp自己跑着的DeepSeek V4.1 GGUF干完的活。一个本地引擎，用跑在自己身上的模型维护自己。小红书哔哩哔哩知乎
下一场预告：Qwen4开源权重27B官方口径仍只有"正在训练"，社区按发布节奏推算最乐观11月底，甚至要拖到12月初，Unsloth已经放话在准备GGUF。引擎的地板修好了，就等开席。哔哩哔哩哔哩哔哩哔哩哔哩
