这半个月,显卡区被同一句话刷屏:12G 显存,跑通了 1250 亿参数的大模型。
评论区裂成两派。一派说 N 卡的大显存溢价总算被戳破,12G 党扬眉吐气;另一派说这又是一场"能跑不等于能用"的赛博画饼。
两边都吵偏了。这事真正的结论是:你的显卡确实不用换了,可省下来的钱,一分也留不住。
12G 能跑是真的,原理朴素得有点扫兴
被跑起来的模型,是通义千问 8 月 26 日开源的 Qwen3.8-Flash-Next。总参数 125B,但它是高稀疏 MoE 架构——每生成一个 token,只激活大约 6B 参数,另外还挂着 51B 的 n-gram 部分。知乎哔哩哔哩
干活的引擎叫 Strata,GitHub 上的 C++ 开源项目,MIT 协议,11 月中旬星标 4.3 万。它基于 llama.cpp,做的事说穿了就是分层放东西:显存塞热点专家和注意力缓存,系统内存当专家池,装不下的甩给 SSD。所以"12G 显存装不下 125B"这个疑问,从一开始就问错了。显存本来就不是用来装模型的,它只是一张高速工位,125B 的绝大部分从头到尾躺在内存条和硬盘上。一句话:手里的 5060 Ti 16G、5070 12G,甚至老 3060 12G,本来就够用。这波真不用为了跑 AI 去加价换大显存。哔哩哔哩哔哩哔哩知乎

但门槛没消失,它整体搬到了内存
有实测党把话挑明:32G 内存配 16G 显卡,能选的模型少得可怜,只剩 IQ1_M 这种平均每权重约 1.75 bit 的极限压缩档。他的原话是——能跑和能用是两回事,然后卸载了。知乎

往上加一档。一台 64GB 内存 + RTX 5060 Ti 16GB 的机器,两个月四种模型的实测记录是:71.5GB 的 IQ3_XXS 加载完还剩 7.8GB 内存,45–50 tok/s,日常够用;换成 84.3GB 的 IQ3_S,加载完只剩 4.4GB,多开几个浏览器标签就开始换页,速度从 40 掉到个位数。知乎
往下更残酷。有人拿真 8G 卡去复现官方那个 63 tok/s,实测只有 12.7 到 14.8,差五倍。因为官方那档是"大显存卡手动限到 8G + 海量内存工作站"跑出来的,不是买张 8G 卡就有的。差的那五倍在内存和硬盘,不在显卡。哔哩哔哩
那内存喂饱之后显卡还重要吗?重要,但边际收益肉眼可见地变平。一组 128G 内存打平、同为 IQ2_XS、同为 128K 上下文的对照:RTX 3090 跑 86–110 tok/s,4090 跑 132–140,5090D 跑 158–165。128G 内存只是门票,内存带宽才是转速。专家进得了显存,显卡说了算;被挤回内存,PCIe 和内存带宽就是速度地板。哔哩哔哩
而内存,正站在历史最高价上
这才是最扎心的部分。11 月 10 日华强北实地报价:16G DDR5 从 450 涨到 1600,涨 255%;32G 从 900 涨到 3800,涨 322%;1TB SSD 从 355 涨到 850,涨 139%。一套 64G 内存,淘宝最便宜要 5800 元——和一块 RTX 5070 基本一个价。显卡日报的记录是,双 24GB DDR5 刚刷新历史最高价。哔哩哔哩哔哩哔哩知乎

等降?短期难。流传最广的一条产能爆料是长鑫存储在北京、上海等地建 10 座晶圆厂,但按报道口径,大部分新增产能要未来两年内才陆续投产,今年这十座厂一块晶圆都还没出来。方向确定,时间不是现在。哔哩哔哩知乎
对比同期显卡:5080 在华强北从 10 月下旬的 1.8 万跌到 1.4 万,5090 从 5 万跌到 4.6 万,可 5060 系列只降 200 块,线上零售还挂着 1.6 到 1.8 万。单卡在松动,整机在变贵。哔哩哔哩
所以现在到底该怎么做
手里这张卡留着,别动。Strata 这类引擎干的事,本质是给存量显卡续命,12G/16G 是最大受益者。
想为跑 AI 加价冲大显存的,先想清楚:决定速度地板的是内存容量和带宽,不是显存翻不翻倍。
想现在补齐 64G、128G 内存的,你正买在最贵的一段上坡路上。

最后算笔实在账。有人算过,一台 1.5 万的本地整机,对比 39 元一个月的云端订阅,回本要 386 个月。只是想聊天写点代码,这账怎么算都不划算。哔哩哔哩
本地部署真正值钱的场景一直很窄:数据不能出门、需要离线、批量脚本、单文件代码生成、文档改写。至于需要"一次做对"的复杂任务,两个月实测者给的建议依然是——交给云端。知乎
这轮 Strata 掀起的浪,改写的不是"要不要买大显存卡",而是"钱该往哪花"。显卡侥幸躲过一劫,接力棒交到内存手上,而内存正在最贵的时候。