11月13日，llama.cpp与底层张量库ggml同步发布v1.0.0。这个做了三年半的项目，此前一直用b12xxx这种按提交数编号的nightly版本，这是第一次正式承诺API稳定。 Hugging Face CEO紧接着表态：这是最常用的本地模型运行库的第一个完全稳定版本，可以在手机、笔记本、工作站上跑，数据不用发给任何人。 但多数用户真正想问的是另一件事：号称支持超150种模型的它，到底能在本地跑哪些实用AI能力？知乎小红书
先把最容易误读的地方拆清。官方口径是150+种模型架构，外加主流投机解码、多模态LLM，分发渠道有8种，从预编译包、Docker、Debian到Homebrew、conda-forge，装它不用先编译。 也就是说，"超150种"说的是引擎能跑通的架构种类，近期发布的开源模型大多很快被纳入支持——比如763B参数的DeepSeek-V4.1-Flash-1017，llama.cpp已经支持。 同时要明确：llama.cpp不是模型本身，而是在自己电脑上运行大模型的开源工具，模型答得好不好，取决于你选的GGUF权重文件。小红书知乎小红书
1.0这次最大的变化不是堆功能，而是把版本升级规则定清楚：只有公开接口出现破坏性改动才升主版本。 这条规矩之所以重要，是因为Ollama、LM Studio这类本地工具的底层都是llama.cpp——以前接口说变就变，下游不敢押注；现在常用工具升级时不用再赌运气。哔哩哔哩小红书
功能面这一版也有补强：发布前不久合入的FP8 KV缓存，让缓存可以按FP8格式存放。 这一版还补齐了专家缓存和外部分片加载，新的模型架构和语音能力接入，为跑更大的MoE模型和多模态场景铺路。知乎哔哩哔哩
但对已经在跑服务的人来说，1.0不是无感升级。这一版删掉了弃用接口，并收紧了llama-server的默认行为：监听非本机地址、开了内置工具或MCP却没设API key的，1.0直接拒绝启动。 改名清单里最常撞的几个也值得先查，比如llama_load_model_from_file改成了llama_model_load_from_file，直接调用这些函数的工具更新后会接不上。小红书知乎
你的机器能跑哪些实用能力
具体到"我的设备能干什么"，社区实测把边界划得很清楚：放在没有显卡的老电脑、一块巴掌大的开发板，或者常年开着的NAS上，意思就是断网也能跑。小红书
按机器分档看：没有独显的老电脑，一台2016年的4核Celeron小主机能跑通0.8B的翻译模型，4线程decode跑到7.59tok/s，日常翻译、改写、摘要够用。 16GB显存，社区整理出四套常用配置：想要192K超长上下文上35B MoE，想要最好质量上27B IQ4_XS，想要更快出字用Q3_K_XL加MTP。 内存大、硬盘快的机器，即便是量化后单层就占103GiB、塞不进内存的超大MoE模型，llama.cpp也能把SSD上的分片文件直接mmap进地址空间跑起来。 合起来，本地可交付的实用能力就是：离线对话与写作助手、代码补全、看图问答、语音相关处理、长文档摘要和本地知识库问答，并通过本地服务接口给各种应用当后端。知乎小红书知乎
对普通用户意味着什么
1.0的实际含义首先是稳：数据留在本机、断网也能用，这是云端之外的另一条路；代价是模型大小受显存和内存限制。 它不是取代云端——本地整理文件、查资料、写点东西都够用，要复杂推理，还是连网。 已经在跑llama-server的用户，升级建议是先在一台测试机把启动脚本过一遍，确认能启动、能带图、工具调用还能用，再动真正在跑的那台。 对一个打磨了三年半、撑起大量本地AI工具的项目来说，1.0真正把"能跑"变成了"敢依赖"。小红书小红书知乎
