这周本地模型的圈子里,同时发生着两拨事。
一拨在报喜:10月17日,B站一支"开源观察"视频把 Ollama 的 GitHub 星数念成了 183,514,还补了一句"今天凌晨还在更新"。 往前倒十一天,知乎一篇老笔记本实测文里写的还是 18.2 万星,并把它归进"star 数排在这个赛道最前列"的位置。哔哩哔哩知乎
另一拨在劝退:小红书那篇9月的《实测3天,我卸载了Ollama》至今还在被翻出来——64G内存的 Mac mini 跑 gemma4 12B,问一句"用一句话介绍你自己",它先在后台自言自语,再开口,整整28秒。 而B站那支《Ollama是如何一步步失去信任的》评论区从4月顶到现在:1242赞在替它辩护,494赞讲自己怎么被文件格式劝走,264赞说同一个模型在 Ollama 里上下文被卡死。小红书
10月18日,知乎又把另一个项目"狂揽 Star"写成了标题——Open WebUI,仓库十五万多 Star。 而它最早的身份证恰恰叫"Ollama WebUI"。10月17日同一晚,微博科技号在转 Hugging Face 联合 llama.cpp 团队刚放出的桌面端 Llama for Windows。 18万星的"装机必备"和"装了又卸"同台站着,这不是速度之争,是新手入坑前的第一道墙。我把星数、自报数字、账单和社区原话摆进同一张表——先对完格式、云、折腾这三本账,再决定你留不留、换不换。知乎微博
第一本账:格式与更新速度——"方便"是真的,"最慢"也是好几个人自报的
被顶得最高的那条反调说的是文件:494赞的那位用户几个月前卸载了 Ollama,理由是他那个 blob 格式只有自家工具认,LM Studio 和 Jan 都读不走,GGUF 本来最大的便携性白瞎了。哔哩哔哩
同一条楼里还有个对照:gemma4 刚发布时各种不兼容,llama.cpp 一晚上连发二十多个版本把它修好,而 Ollama 被这条楼主打上"每次新模型支持都是最慢的"标签。哔哩哔哩
121赞那条接着补:llama.cpp 在 GitHub 上有十几个预编译版本,CUDA、Vulkan 挑一个解压即用,自带网页界面和API,"部署难度是它的十分之一"这话早就站不住了。
反证也得摆齐。顶到 1242 赞的那条讲了一个特别真实的场景:领导逼你在破烂电脑上周末部署一个大模型做展示——选项一是加班两天研究编译、装模型、接工具;选项二是下载 Ollama,随便选个模型,开机即用,就跟手机下载应用一样丝滑,然后休息一天半。哔哩哔哩
他楼下的高赞回复只补了一句:普通人连得上 GitHub 本身就是坎,用 Ollama 不需要解决网络问题。哔哩哔哩
一位自称用了两年的小白(158赞)说得更具体:转去 llama.cpp 之后,换模型得写脚本停一个再加载另一个,Ollama 那种开机自启、自动识别本地全部模型、工具随便切的便利他没找到平替。哔哩哔哩
还是那位知乎老笔记本作者给了"够用线"上的实测数字:2020年的 4750U 核显办公本、无独显,拉一个 0.5G 的 qwen3:0.6b,首字等了 9.3 秒,出字后稳定跑 46~54 token/s,全程断网 0 元。知乎
夹在中间的是硬数据:一位用户(264赞)自报,同一个 gemma4,在 Ollama 里上下文最高只能开到 60K,转 llama.cpp 后开满 128K,整体显存占用还少一截。 这是单机自报,没有对照测试,别人复现之前只能当个案——但它和格式帖、"支持最慢"帖指向同一个方向:Ollama 的"方便"是把一部分选择权收走了,默认配置、模型格式、新模型排期,都不在你手里。哔哩哔哩
第二本账:云——你的"本地"模型名里,可能藏着后缀
知乎10月12日一篇《Ollama 免费云模型使用指南(2026年10月实测版)》把这层窗户纸捅破了:官网写着"Local models are always free",但带 -cloud 后缀或 :cloud 标签的模型,根本不会被下载到本地,要走一次 OAuth 授权,凭证是一把存在 ~/.ollama/id_ed25519 的签名密钥。 它同时兼容 OpenAI 和 Anthropic 两种接口风格,Claude Code、Codex、VS Code 换个 base URL 就能接——新手以为自己在"本地跑模型",实际可能全程在点外卖。知乎
免费档的账,这位作者实测得仔细,提醒得也老实:账户接口返回 $2.50,只是他单个账户的实测值,官方从未公布免费档的统一金额,他只含糊见过"starter amount"这几个字,所以他让所有人拿自己的 /api/balance 复核、别套用。知乎
页面写"Refills in 4 weeks",FAQ 写"monthly from the date you signed up",两边打架,他的实测结论是按注册时刻对齐一个自然月,"4周"只是界面约数。知乎
六个免费 starter 模型里,gemma4 和三个 nemotron 是 262K 上下文,两个 gpt-oss 只有 131K;价格上输入和输出差了一个数量级,nemotron-3-ultra 输入 $0.10、输出 $3.00——让它写长文,$2.50 可能几十次就见底。 2026年8月31日改版之后,老的"5小时+7天"双窗口只留给存量订阅用户。知乎
小红书那篇卸载文的第三个坑也落在这层:它有个思考模式默认开着,过程全吐给你,又臭又长,图形界面里没有开关,想关得自己去改配置文件写参数。 号称最简单的工具,参数层反而是黑盒。社区对这套默认值背后的动机有一句被转了很多次的揣测。 原句就是一句反问,没有任何实锤,但摆在这里只说明一件事:用户已经在用"它为什么这样设计"来解读它的每一个默认值。小红书哔哩哔哩
第三本账:折腾——一周之内,工具层换了三次牌
星数之外,这周真正的新料是"牌桌重摆"。10月17日上线的 Llama for Windows(GitHub 仓库 ggml-org/Llama-Windows)基于微软 WinUI 3 框架,底层直接搭载 llama.cpp 推理引擎,深度集成 Hugging Face 模型库,点击即可下载部署,程序常驻 Windows 11 系统托盘,Mac 版同步有。 Open WebUI 那边仓库十五万多 Star、Docker 镜像累计拉取超过 2 亿,从"给 Ollama 配的网页壳"长成了能同时接 Ollama、OpenAI、Anthropic、Gemini、LMStudio、OpenRouter 的私有界面,还能挂九种向量数据库建知识库。 同一周,B站10月12日有人挂出"全100集 Ollama 零基础教程",小红书10月8日有人整理《Ollama常见报错|本地AI90%问题一键修复》,10月15日还有人在迭代"更轻量的本地模型加载器"GGUF Studio——教程和报错帖的产量,本身就是需求侧最诚实的投票。微博知乎
热闹背后有句被112赞顶起来的话:绘图那边 ComfyUI 早就一统天下了,大语言这边还在群魔乱舞。 这话其实说反了一半——本地这摊不是群魔乱舞,是分层:llama.cpp 这类是引擎,Ollama、LM Studio、Llama for Windows 这类是替你管引擎的加载工具,Open WebUI、AnythingLLM 这类是界面壳,再往上才是接进 Agent 的网关。新手痛苦就痛苦在没人告诉他这三层要分开选。64赞那条自嘲把换牌的成本说透了:"刚准备入门开始学就已经被淘汰了,慢半年是慢了,慢一年等于没慢。"旁边84赞那句更朴素:ollama 才整明白,又来一堆新软件,就想搭个本地知识库问答,难死人了。哔哩哔哩
对号入座:这五类人,先查哪本账
你的情况 | 先查哪本账 | 这周的动作 |
|---|---|---|
Windows小白,怕命令行、怕GitHub、弱网 | 第三本 | Ollama"不用解决网络问题"这条优势目前仍成立(1242赞楼内);Llama for Windows 上线才72小时,支持清单和第三方实测还没出,先别当主力 |
已装Ollama两年,只是聊天尝鲜 | 第二本 | 跑一遍 `ollama list` 看模型名里有没有 :cloud;查自己的 /api/balance 看免费档到底是多少;把"思考模式关不掉"当验收题实测一遍 |
每天真要用AI干活、想追新模型 | 第一本 | 社区多路自报指向 llama.cpp day0 适配、LM Studio 图形端友好;但动手之前想清楚你要不要"开机自启识别全部模型"这个便利 |
M系Mac统一内存用户 | 第二、三本 | 首字延迟、上下文上限先实测再换;64G机器跑12B出28秒是别人机器的样本,不代表你的数 |
要建本地知识库、接Agent | 第三本 | 你缺的不是再装一个加载器,是界面壳——Open WebUI 本来就是从 Ollama 生态里长出来的 |
顺手把两个可以直接抄走的口径记在这里:知乎那篇云指南实测确认,Apple Silicon 从 v0.19 起 Ollama 会自动走 MLX 后端调用 GPU,无需装任何驱动,开箱即用。 而老笔记本那位的冷热差也值得记住——重启服务后的第一问要把模型从硬盘读进内存,他那台机器首字延迟 9.26 秒;只要之后不关服务,模型在内存里热着,首字就能降到 5~8 秒。知乎知乎
我的判断:证据说到哪,结论就放到哪
没有一条被证实的"崩塌",但有一条被反复自报的裂缝:Ollama 的星数和它的信任危机并不矛盾——它赢在"不用碰命令行、不用解决网络",而这恰好建立在"默认配置不给你看"之上。格式独占、支持排期最慢、云后缀混进本地列表、思考模式界面关不掉,这四条里除了格式,其余全是自报或个案(264赞、09-08卸载帖均无对照数据);反证那侧(1242赞、158赞)同样是体验陈述。证据只够支撑一个弱结论:它仍是尝鲜门槛最低的那扇门,但已经不是"每天干活"的默认答案——这条分界线从4月顶到现在,不是黑稿,是两拨人真实使用场景的分叉。
接下来盯四个信号,比站队有用:Llama for Windows 的第一批第三方实测(显存占用、支持清单、和 LM Studio 的正面差异,数字出来之前不搬家);Ollama 的新模型 day0 差距(gemma4 那晚 llama.cpp 连发二十多个版本的对照还在不在);:cloud 规则再修订(8月31日已经改过一次版,免费档金额始终不公开,账户间是否一致没人能说);60K/128K 上下文差有没有人做对照复现——如果复现了,第一本账就从"个案"升级成"结构性问题"。
本地大模型这行,工具每三周换一次牌(三周前的十个引擎、这周的三个工具位),星数涨到18万也挡不住卸载帖上热榜。新手党真正的护城河从来不是选了哪个软件,是验收题永远在自己手里:一行命令跑起来只是开始,装完先问它一句"只回答数字",再看看账单和模型名——这三步走完,留、卸、换,才是你自己的决定。