7900XTX跑本地大模型｜Vulkan居然赢麻了✨

最近用7900XTX 24GB在Windows上折腾本地大模型，结果直接颠覆了我的认知！

🧪 测试环境

- 模型：Qwen3.6-27B-MTP-GGUF

- 量化：Q4_K_M

- 框架：llama.cpp / llama-server

- 显卡：AMD Radeon RX 7900 XTX 24GB

- 系统：Windows

本来以为AMD跑大模型必须靠HIP/ROCm，结果在我这套环境下，Vulkan反而快得离谱！

📊 核心性能对比

HIP/ROCm

- Prefill ≈ 210 t/s

- Decode ≈ 21~23 t/s

Vulkan

- Prefill ≈ 660 t/s

- Decode ≈ 55~60+ t/s

这差距直接把我看傻了，至少在Windows+7900XTX这套组合里，Vulkan才是真正的王者。

📈 不同上下文长度表现

- 50K：显存20.5GB，Prefill 552 t/s，Decode 57 t/s，全程很稳

- 64K：显存21.1GB，Prefill 545→402 t/s，Decode 67→52 t/s，长文档可用

- 80K：显存21.2GB，Prefill 485→333 t/s，Decode 61→49 t/s，大材料处理无压力

- 128K：显存22.8GB+共享显存1.8GB，Prefill 319→226 t/s，Decode 50→41 t/s，能跑但不建议默认用

最明显的规律是：上下文越长，Prefill速度越慢，Decode也会跟着掉一点，但整体还是比HIP/ROCm快很多。

💡 V cache设置建议

- 日常使用： -ctk q8_0 / -ctv q4_0 ，省显存又快，聊天、写代码、总结文档都够用

- 长文档/重视细节：再考虑 -ctv q8_0 ，理论上保真更好，但显存压力和掉速会更明显

我现在的使用习惯：

- 日常默认：50K或64K上下文

- 长文档模式：80K上下文

- 极限测试：128K上下文（偶尔玩一下）

一句话总结：7900XTX跑Qwen3.6-27B完全能用，而且Windows下的Vulkan比我想象中能打太多！AMD用户折腾本地大模型，真的可以试试Vulkan，别死磕ROCm了。

你们用AMD显卡跑本地大模型，是用Vulkan还是ROCm？

#本地大模型 #7900XTX #AMD显卡 #Qwen #llamacpp #Vulkan #ROCm #AI硬件 #WindowsAI #大模型部署