本周本地AI圈的新宠，非 Gemma 4 莫属：号称"12GB 显卡就能跑"的 Gemma4 31B-it，教程刚上线，图片识别和256K上下文全写在标题里。它那个"压缩3倍、提速2倍"的多模态兄弟 Air-26B-A4B，也是前两天刚放出来的。哔哩哔哩哔哩哔哩
看着挺美，教程评论区已经有人泼冷水："会不会太慢了，你这配置就只有7token每秒。"能跑和能用是两码事，下载模型之前，建议先把下面三笔账算清楚。哔哩哔哩
第一笔：显存账。 吃显存的不只是权重，还有 KV 缓存和框架开销，连号称24G的卡都得掰开了算。横评区高赞评论说得直白：“上下文才是杀猪刀”。长上下文一开，显存先跪，连MTP这类提速开关，老玩家都建议关掉腾给上下文。更关键的是量化版本：今年4月 Gemma4 31B 刚发布时，"量化直接崩"的翻车实测满屏都是。直到 QAT 量化版放出，"16G显存跑满256K上下文"才立得住。所以"12G能跑"的真相是：量化权重勉强塞进显存，长上下文一开，大概率跪给你看。哔哩哔哩哔哩哔哩哔哩哔哩哔哩哔哩
第二笔：速度账。 演示速度和家用机实测经常差出一个世界，有玩家自嘲自己跑出的20+ token/s，只配给视频里的漂亮数字当绿叶。但也有真香的：5070Ti 配 Gemma 26B-A4B QAT，实测 110 token 每秒，跑文档翻译又快又稳。同样12G的卡，选对模型和量化版本天差地别；选错了，就是你花大几千买的显卡在"能拉，也就只是能拉而已"。哔哩哔哩
第三笔：值不值账。 劝退派算得轻省：非保密工作直接用云端版 DeepSeek V4 Flash，跑两小时电费都不到一块钱。翻车派现身说法：“被评测忽悠买了max+395迷你主机，结果只是能跑、完全没法用，现在在角落当NAS。”。哔哩哔哩小红书
上车派的理由则很硬：依赖API就怕被涨价，公开APP越来越"合规降智"，律师、医生、会计师的材料放谁家都得本地化；有人一句话总结——“本地部署唯一的好处就是私密安全。”。一句话：冲着"免费"来的，多半失望；冲着隐私和折腾欲来的，才玩得下去。小红书哔哩哔哩
至于刷屏的"我的卡行不行"，给个粗糙但诚实的对照：8G显存别碰31B，26B-A4B 量化版连纯CPU都接得住。12G可以试 31B-it 量化版，但请把上下文当稀缺资源省着用。16G才是这轮 QAT 的主场，256K 敞开跑有实据。24G以上或128G统一内存的 Mac，连 DeepSeek V4 Flash 这个级别都能本地安排。哔哩哔哩哔哩哔哩哔哩哔哩小红书哔哩哔哩
2026年本地AI的入门门票确实降到了12G显卡，但降的是钱包的门槛，不是脑子的。先分清"能跑"和"能用"，再决定下不下载——你的显卡不会骗你，只会等你会不会用它。
