RX6600XT双卡跑模型有没有搞头?
设备环境
RX6600XT 8G 版,两张
Windows 11
LM Studio
Intel 10700,16G内存

测试模型

deepseekR1 千问3 蒸馏版的 8B模型效果

千问3 8B 版模型效果


千问3 14B 版模型效果

千问3 4B 版模型效果

千问2.5VL 7B 版模型效果

千问3 VL 8B 版模型加载失败

LM Studio 的环境配置




刚开始我是想用 Ubuntu 来着,安装了2204桌面版,使用docker来跑,尝试了 vLLM、gpustack都不能正常调用显卡,直接安装 ollama、LMStudio也是不能调用显卡。所以换成了Windows11来跑。
从测试来看,rx6600xt用来跑8B的千问3还是可以用的,强行上14B的千问3也不是不行(树懒型输出),跑7B的千问2.5VL也可以,但是还不支持千问3VL。
作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~
