2026年尾声，本地推理圈发生了一件反直觉的事：显卡开始摸鱼，内存开始加班。
11月14日，B站UP主"玩客笔记"发了个实测：Xeon E5十二核老平台、96G内存、RTX 3060只有12G显存，跑Qwen3.8-Flash-Next 125B（IQ3_XXS量化），生成速度43-68 tokens/s——UP主自己标注仅单机验证。内存峰值59.5G，显存只占11.3G。评论区最扎心的一条留言：“12G显卡只是守门员，真正扛住的是那96G内存。”哔哩哔哩
同天知乎郑世录用5060 Ti 16G+64G内存也测了一遍：71.5GB的Qwen3.8 IQ3_XXS跑得稳，45-50 tok/s；换84.3GB的IQ3_S，内存只剩4.4GB，开几个浏览器标签就开始换页，速度直接跌进个位数。
为什么显卡能摸鱼？两篇实测指向同一个原因，MoE模型每次只激活一部分专家，显存不是用来"装模型"的，只放热点专家和注意力缓存，剩下大半权重躺在内存和磁盘里靠mmap按需读入。大模型的门票，从显存容量换成了内存容量。知乎
那内存为什么还是差点不够？知乎用户Tableau算过一笔账：模型文件只是冰山露出水面的十分之一。2.2GB的小模型日常聊天很轻，可128K上下文的KV cache就一口吃掉18GB；稍大点的8B INT4模型，双并发子Agent直接堆到42.7GB，撞上40G显存墙。Ollama、llama.cpp、vLLM这些框架还有内存预分配机制，上下文允许开多大，内存就先圈多大。瘦身也没什么玄学：KV量化到q8_0、上下文裁到64K、并发限1，42.7GB收回8.45GB，重回16G显存射程。知乎
新档位抄作业（综合显存表与多篇实测）：
8-16GB显存：目前天花板是Qwen3.6-35B，通吃；
24GB显存：Q4的Qwen3.8-27B，个人用户基本到头，32G/48G显存跑的同一档，只是上下文更长；
100B级MoE：看内存下菜——64G内存想稳，模型文件最好压在80GB以内，128K上下文还得留6G给系统。哔哩哔哩知乎
所以要不要升级显卡？两位作者的立场倒是罕见一致——郑世录把"一次做对"的复杂任务交给云端；黑虾的显存表写得更直白，“如果是正经写代码干活，还是建议订阅云端模型”。本地的舒适区是单文件代码、文档改写、批量脚本，外加数据不出自己硬盘。老显卡、小内存的组合，加内存条排在换卡前面。知乎
最后三个小坑。第一个，别迷信最小量化档，IQ3_XXS日常稳、IQ3_S难题更强，甜点在中间。第二个，读得快不算快，郑世录等1794个输出token干坐了317秒，“写得长就是慢”。第三个，国内HuggingFace下载常只有几百KB/s，换ModelScope镜像加aria2 -x8，能跑到10MB/s上下。知乎
评论区那条471赞的省流，已经替这轮判了胜负：“CPU？不是很重要。”。这轮赢的是内存。哔哩哔哩
