关掉桌面环境，再点一次运行。
RX 7900 XTX 的显存条很快顶到 24G 边缘。任务管理器里，系统内存停在 51G 上下。屏幕上，Qwen3.8-Flash-Next 开始一个字一个字往外吐，速度稳定在 60 token/s。
这是 10 月底不少 A 卡玩家共同的夜晚。起因是开源推理引擎 Strata：它把“8G 显存跑 125B 大模型”做成了可以复现的演示，在 GitHub 上迅速传开。知乎
先把原理说清楚。125B 是 MoE 模型，生成每个 token 时只激活大约十个专家，真正需要待在显卡里的权重只有几个 G。
Strata 做的是按需分片：显存放热的权重，系统内存放冷的，再提前预取。有测试给出的对比里，同一任务传统 CPU 卸载要 104 秒，它用了 28.8 秒。知乎
所以“8G 跑 125B”不是魔法，是把压力从显存转移到了内存和硬盘。这也解释了一个现象：跑得动的人，往往不是显卡最贵的人，而是内存够大的人。
一位 7900 XTX 用户的记录很具体：24G 显存、64G DDR5、9700X，IQ3_S 量化，Strata v0.2.6，HIP 后端。上下文开到 256K，文本生成约 60 token/s，JSON 生成接近 90。知乎
代价同样具体。模型加载要一两分钟；显存几乎占满；系统内存吃掉 51 到 52 GiB，256K 用满可能到 55 到 56 GiB。他机器的实际可用内存只有 60 GiB 左右。知乎
换句话说，跑模型的时候，这台电脑基本只能干这一件事。想边跑边开浏览器、剪视频，得先加内存。
也有人测出，同一张 7900 XTX，Windows 下 prefill 只有七百多，decode 七十多，Linux 能拉满。系统选错，数字会差一截。小红书
如果显卡只有 16G，情况更看模型。另一位用户用 RX 9060 XT 16G，在 Windows 上跑通了百度的 Unlimited OCR 2——一个约 3B 参数的多模态模型，权重 6.3GB。知乎
他处理的是 229 页横着拍的物理教辅，公式全靠模型重新生成 LaTeX。整个过程没有戏剧性，只有一连串小坑。
WMI 把 16G 显存报成 4G，得改用 dxdiag 才看到真实的 16188MB。transformers 4.52 会无条件 import 分布式模块，而 Windows 版 ROCm 没编译这部分，只能写一个替身模块骗过探测。知乎
模型配置里默认开着的 Triton 在 A 卡上不可用，得手动关掉，让注意力走回 PyTorch 的路径。他还做了对照：把照片转正能让文字读顺，但救不回公式。知乎
16G 也不是只能跑小模型。有 Radeon RX 7600 XT 用户用 Strata 跑 35B 的 MoE，显存放 7.7GB 权重，内存再放 3GB，速度 36 token/s。能不能跑，取决于模型结构和内存，不是单看显存。GitHub
两个案例放在一起，A 卡眼下的位置就清楚了。
显存不再是唯一门槛。24G 卡配 64G 内存，能进“干长活”的区间；16G 卡跑 3B 这类专用模型，做 OCR、整理文档，够用；想跑 27B 级别的稠密模型，24G 起步更稳。
更便宜的路线也有人走。三张 2019 年的 MI50 跑起 78G 的大模型。蓝宝石 RX 7900 XT 20G 花 4000 块，从 5 token/s 调到 60 token/s。代价是从 Ollama 换到 LM Studio，重装 ROCm 7.1，再一项项改参数。哔哩哔哩
也有反面例子。一位买了 MAX395 机器的用户算完账说：宣传的 128G 共享，实际到手是 64+32，带宽也低，生态问题多，“玩玩可以”，生产力不行。知乎
这不是说一体机没价值，而是标称容量和持续吞吐从来是两回事。MoE 能靠稀疏激活省显存，但省不掉内存带宽的账。
所以看到“8G 跑 125B”这类标题，先别急着换卡。更该问的是三件事：模型是不是 MoE，量化后权重多大，内存够不够让上下文跑满。
软件栈也在变好。最早一批用户反馈，Strata 一开始就按 Windows 适配，Linux 反而是后补的；有人用 Win11 加 ROCm 7.1，把 PyTorch 那套直接跑通了。
但“能跑”和“能干活”之间，还隔着一整套工程：驱动版本、后端匹配、量化取舍，以及那条随时会被吃满的内存。
A 卡这次确实上桌了。只是桌上的规则，已经不是拼显存数字那么简单。
