如果你去年把本地部署当成"人富卡多的玩具",那这个10月中旬的消息密度,可能会让你重新动心。
三堵墙,同时松动了
显存墙最先被破。开源项目 Strata 让 12GB 显存起步的游戏本在本地跑起 1250 亿参数的 Qwen3.8-Flash-Next:Windows/Linux 一键安装,本机自带 OpenAI/Anthropic 兼容接口,能直接接进 Claude Code、Codex 这类编程智能体。知乎哔哩哔哩

秘密在 MoE 架构:125B 主模型、51B N-gram 补充嵌入,每个 token 实际只激活 6B 参数。知乎
实测结论说得克制:在编程和 Agent 类 benchmark 上压过了 Claude Opus 4.6 Max,SWE-bench Pro 62.5 对 53.4。注意是"局部超越,不是全面超越"——但这个局部,恰好是本地玩家用得最勤的场景。知乎
整机墙被 Meta 撬开:总参数 8160 亿、每次推理只激活 420 亿的开源权重模型 Muse Spark Open,两台 512GB 统一内存的 M5 Ultra Mac Studio 就能整套跑起来。token 价格墙也在松动:Reflection 的 501B 模型 Beam 1.0 于 10 月 16 日登陆 Ollama,官方原话 “free for a limited time only”,走云端跑、不占你显卡。不想买卡,也能先白嫖一把 500B 级模型。知乎知乎知乎Ollama官网

玩绘画的也没闲着。ComfyUI 上周末刚发 v0.41.0,19 日又推到 v0.42.0,复旦 OpenMOSS 团队首个文生图模型 MOSS-Image 第一时间被支持。知乎

这个模型支持 JSON 结构提示词,直接控制元素位置。知乎
代价是生成偏慢:RTX 5060Ti 出一张百万像素图要 20 多秒,Qwen-Image-2.1 Turbo 和 Flux.3 Klein 只要 5~7 秒。知乎

但评论区在泼冷水。B站 Strata 实测视频 2300+ 条评论里,报喜和翻车齐飞,有人把话挑明:“量化到Q4以下,质量都是严重塌陷,循环断流非常常见,实际没有用处。”。哔哩哔哩
抄作业还得先掂量内存——高赞实测帖报的是 5070Ti 16G+48G 内存跑出解码速度 70~85t。哔哩哔哩
另一条评论说得更实在:“至少也得48G,32G又尴尬了”,买内存条还得顶着涨价来。哔哩哔哩

ComfyUI 这边同样魔幻:2.8 万赞的头部教程视频评论区被"已三连求整合包"刷屏,真报了课的却投诉"视频演示的内容,和后台给的资料都对不上(下了个60g的整合包)",课件又是另一套 160G 的工作流。哔哩哔哩
这笔账到底算不算得过来?知乎上两边吵得正凶:决策规则派给出硬条件——"数据不能出内网"和"月账单超过两千块"两条同时成立,本地部署才开始回本。73 万阅读的反方答案则称云端规模化集中部署相较于自行部署都是"降维打击"。而小红书讨论帖下戳破动机的,是最朴素的合规刚需:“企业要求数据不出内网没办法,你都不能连外网哪来的API”。知乎知乎小红书
三句话带走
8-12G 显存 + 32G 以上内存:先用 GitHub 约 2.6万 stars 的 Strata 这类提速项目试水,别急着为本地 AI 盲目买卡。知乎
M 系统一内存 Mac:盯紧开源 MoE 权重,但 8160 亿是两台 512GB 机器的游戏,预算前先掂量内存池。
零设备想尝鲜:Ollama 云端免费够用,但"限时免费"官方没写截止日,随时可能变收费。知乎
这波爆发节奏太快,多数实测只是一家之言,结论只能跟着证据走到这里。上车前,先想清楚自己到底要"本地"什么。