11 月上旬,本地推理圈被两件事刷屏:"Ollama 要收费"闹得新手差点卸载,llama.cpp 发 1.0 让老手脚本当场报错。一个误会,一个真变,掰开说清。
Ollama 收费了?收的不是本机
11 月 9 日起,Ollama Cloud 免费额度取消,Free 账户被自动切换成 Pay as you go,几个 starter 模型开始要钱。知乎
官方原话是 Running models on your own hardware is always unlimited:本机跑永远免费,但免费午餐结束了:余额不足直接报 payment-required,是跑不起来,不是变慢。知乎
工具里界线更直观:模型要即时信息时,Ollama 会自动处理搜索并返回结果——派给模型的活可能压根不在本机。知乎

llama.cpp 转正了
11 月 13 日,llama.cpp 与底层 ggml 同时发布 v1.0.0:三年半来它一直用 b12xxx 式 nightly 编号,这是第一次正式承诺 C API 稳定。新规则:破坏 API 升主版本,兼容新增升次,修复升补丁。知乎知乎
转正先清算旧账:曾对外暴露的 255 个 llama_ 函数,删掉废弃接口后剩 237 个。最疼的坑:照教程抄的 -dt、–defrag-thold,启动直接报 invalid argument。知乎
所以作者那句大实话值得贴显示器上:值得升级,但别在主力那台上直接替。先在测试机跑通 systemd、docker 脚本;llama-server 还收紧安全,绑 0.0.0.0 又开工具调用,从警告改成直接拒启。知乎
真实惠:MoE 跑得便宜了
1.0 的王牌是 MoE 专家显存缓存:专家权重留在内存,显存只缓存热点专家。贡献者自测:Q4_0 的 Qwen3.8-Flash-Next 共 93.7GB,一张 4090 上 10.7GB vs 按层切 16.5GB,出字快约六成——均为自测,非官方基准。
20G 显存的普通 PC 跑千亿 MoE 已不是都市传说:“我绝对不知道,作为 20G 显存的普通 PC……怎么就跑到 117.6 tok/s 去了”。原帖那张面板图就是现场。知乎

FP8 KV 缓存也刚合入主干,-ctk/-ctv 新增 f8_e4m3。但别指望省容量:跟 Q8_0 一样大,收益只是预填充快 14.5%。知乎知乎
脚本先别动:直接照合并说明改,预期结果就是参数校验不通过。知乎
三件事:别急着卸载 Ollama,收费的是云端;升级前 grep 脚本里的 defrag;追新功能用 nightly,要稳定跟正式版——并存没停发。这个 11 月,本地推理转正了。知乎