10月18日和10月20日，花两万多买 AI Max 395/495 迷你主机的人接连等来两个好消息：vLLM 0.32.0 正式适配这颗核显，SnowLLM 放出专项优化包。同一台机器，一分钱不多花，本地跑大模型的速度明显变快了。
憋屈：硬件顶配，软件只发挥一半
AI Max 迷你主机用户最难受的从来不是硬件。128GB 统一内存、40CU 的 RDNA3.5 核显，纸面规格口水直流。但现实是：主流推理框架几乎都是给英伟达和 AMD 数据中心卡写的，跑在这颗核显（代号 gfx1151）上只能发挥出大约一半的性能——这不是我编的，是 SnowLLM 团队的公开说法。知乎GitHub
一句话：不是机器不行，是没人给它认真写代码。现在，有人动手了。
好消息一：vLLM 0.32.0，生成速度近乎翻倍
10月18日发布的 vLLM 0.32.0 加入了新的 ROCm Segmented Attention 后端，并改进 W4A16 量化矩阵计算，点名给 gfx1151 做优化。官方 PR 公开的测试数据显示，跑 Qwen3.8-27B（W4A16 量化），单请求输出速度从 5.49 tok/s 提到 10.79 tok/s，接近翻倍，W4A16 优化还带来了最高约 23% 的首 Token 延迟改善。首 Token 延迟，就是它开始回答前你干等的那口气。知乎GitHub
如果你在用 vLLM，升级后记得加参数：`–attention-backend ROCM_SEGMENTED_ATTN`，KV Cache 先选 BF16/FP16，FP8 暂时别碰。
好消息二：SnowLLM 登场，首字等待从 4 分 19 秒压到 1 分 05 秒
10月20日，专为 AI Max+ 395 和 PRO 495 做优化的开源项目 SnowLLM，放出了适配 GLM-5.3-Flash 的实测结果。测试条件：32K 上下文、IQ2_XXS 量化、开启 MTP，同机对比 llama.cpp：知乎
模型读入：507.7 对 126.5 tok/s，快 4 倍
文字生成：26.2 对 13.8 tok/s，快 1.9 倍
首字等待：从 4 分 19 秒压缩到 1 分 05 秒
跑 Qwen3.8-Flash-Next 更夸张，32K 上下文 Prefill 达到 1842 tok/s。读入越快，喂长文档、跑多步智能体时的等待就越短，这个数字直接决定迷你主机能不能干"正经活"。知乎
补一句：495 和 395 的核显同代同源，上面这些优化对两台机器都适用。
别急着欢呼，两盆冷水
一，FP8 的坑还没填。395 没有原生 FP8 矩阵计算能力，vLLM 官方路径依然很慢；社区项目用自写的 Triton 内核，把 24B FP8 模型从约 1.3 tok/s 拉到 9.24 tok/s。这勉强算救命，离"好用"还远，甚至有人吐槽：别的引擎 Prefill 早跑到 1800 tok/s 以上了，vLLM 还差得远。知乎
二，SnowLLM 还年轻。目前适配的模型不多（主要是 GLM-5.3-Flash、Qwen3.8-Flash-Next），能不能持续跟上，还得看时间。
所以，这对你意味着什么？
已经买了 395/495：恭喜，白捡一次提速，赶紧去更新软件；
还在观望：软件生态补齐后，这批硬件的价值才开始真正兑现；
纯游戏党：这事跟你没关系，打游戏还是看独显。
而且 395 机型已经开始降价，磐镭 YO2 老款（128GB+2TB）当前只要 22999 元，国补后更是低至 21499 元。哔哩哔哩
迷你主机跑大模型，拼的不只是内存多大，还有没有人愿意为这颗芯片认真写代码。从"能跑"到"好用"，这一步终于迈出来了。
