11 月 13 日晚（北京时间 18:20），本地大模型推理引擎 llama.cpp 与底层张量库 ggml 同步发布首个正式版 1.0.0。 这个 2023 年 3 月由开发者单人用纯 C/C++ 写出的项目，如今在 GitHub 上积累了约 13.5 万星标、支持 150 多种模型架构，Ollama、LM Studio 等常见本地工具底层用的都是它。 对普通用户来说，这件事的结论比标题朴素：软件这道门槛已经被 1.0 基本抹平，剩下决定“能不能跑、跑不跑得顺”的，主要是你电脑的内存大小和模型选得对不对。IT之家微博
软件层面几乎不存在新增门槛。llama.cpp 一直不需要装 Python、不需要编译：下载官方预编译包，解压后运行 llama-server，浏览器打开 localhost 就是一个聊天界面，不用记命令也能对话。1.0 把这层体验做了正式化——网页界面全面重做，新增会话分组和 Markdown 编辑器，手机浏览器访问时还有专门适配的移动端布局。GitHub
“断网可用”也不是 1.0 的新功能，而是这个引擎的底色：推理全程在本机进行，模型文件只要下载进硬盘，就可以拔掉网线用，对话内容不出这台电脑。真正的新变化在分发形态——llama.cpp 团队与 Hugging Face 已推出 macOS 和 Windows 桌面应用，普通用户可以完全绕开命令行。Hugging Face
对普通电脑更有实质意义的，是 1.0 往“省硬件”方向的几项能力：新增 FP8 KV 缓存、可配置 CPU 占比的主存 MoE 专家缓存，以及外部分片加载。 MoE 结构的大模型总参数很大、每次推理只激活一小部分，以前显存装不下就只能放弃；现在可以把常驻的“热门专家”留在显卡、其余放进内存，显存小的机器第一次能“硬跑”过去跑不动的大 MoE 模型，代价是缓存没命中时要多等一会儿。 FP8 KV 缓存则把长对话、长文档占用的缓存内存压小，同样的显存能撑更长的上下文。GitHub微博
速度要有现实预期。一位用户的 16GB 内存、无独显笔记本用 llama.cpp 跑 16B 量化模型的实测是约 6.7 tokens/s，日常问答完全够用，追求秒回则不适合。 内存才是普通电脑的天花板：同机跑 16B 模型加载后剩余内存只剩 0.3–0.6GB，全靠 Windows 页面文件兜底。知乎
门槛到底降在哪：三道题拆开看
把普通用户关心的问题拆开。第一问：装起来难不难？不难，上面已说。第二问：能跑什么模型？粗略按 4-bit 量化估：7B/8B 模型文件约 4–5GB，14B 约 8–9GB，32B 稠密模型约 18–20GB，再给系统和上下文留 2–4GB。16GB 内存的核显轻薄本，7B/8B 是舒适区；32GB 内存或 16GB 显存，才谈得上 14B–32B；64GB 内存或 24GB 以上显存，才能碰 70B 级或超大 MoE。
第三问：1.0 本身意味着什么？它首先是一个稳定承诺：官方宣布此后只有 API/ABI 不兼容的改动才会升主版本号，底层 ggml 同步进入 1.0 版本。 对开发者和工具链，这比任何单点功能都重要；普通用户的实际感受不会来得那么直接——今天升级了 1.0 的底层，你的工具不会突然变快。Hugging Face
上手之前，三个提醒
模型下载是全程唯一必须联网的步骤，单个 GGUF 文件从 4GB 到 20GB 不等，一次下完即可长期离线，但默认存放路径容易吃满系统盘，动手前先改到数据盘。量化要认清取舍：本地跑的几乎都是压缩后的版本，数学、长文、代码任务与满血原始模型有差距，媒体标题里“断网跑满血大模型”的说法并不严谨，准确表述是“同一套免费引擎，断网能跑主流开源模型”。最后，别忽视破坏性变更：1.0 删除了 35 个弃用 API 函数和 `–defrag-thold` 等参数，并加强了服务端的 SSRF、CORS、DNS 重绑定等安全加固，个人自用影响不大，依赖旧接口封装的生产脚本建议等下游工具适配后再升。GitHub
1.0 不会把普通电脑变成 AI 服务器。它做的是把“本地跑大模型”从极客手艺变成一款有版本承诺的常规软件。接下来值得你问电脑的只剩一个问题：你有多少内存。
