AMD Radeon AI Pro R9700四卡工作站体验：本地AI部署新选择

现在要想体验AI可以说是轻而易举，手机下个应用，PC开个浏览器，你就能和AI聊天，让它帮你识图，甚至生成视频。不过这些应用好玩是好玩，但一旦断网了，就不能用了。而且，出于隐私又或者个性化的要求，一些创作者和工作室总有本地部署AI的需要。不过AI对显卡尤其是显存的需求这块大家也懂的，还好，在AI显卡这块，玩家绝不止一个，比如我们今天要介绍的AMD AI工作站。

规格配置

AMD Radeon AI Pro R9700四卡工作站体验：本地AI部署新选择

这台AI工作站的CPU是AMD锐龙线程撕裂者PRO 7965WX，内存是128GB DDR5，主板则是华硕的Pro WS WRX90E-SAGE SE工作站主板，提供了高达7个PCIe 5.0 x16插槽和4个M.2插槽。当然，最最最核心的还是这4张讯景Radeon AI Pro R9700显卡。

作为一款工作站显卡，讯景Radeon AI Pro R9700采用的自然是方便多卡堆叠的涡轮散热设计。显卡的外壳是全金属的，这倒是跟颜值没什么关系（硬要说的话可能有一点），而是出于增强散热效能的需要。另外，讯景还加入了VC均热板，进一步提高显卡的传热效率。

值得注意的是，和游戏显卡不同，AI Pro R9700采用了12V-2x6接口，这个接口设置在了尾部，同样是一个考虑到多卡堆叠的设计。

规格方面，Radeon AI Pro R9700基于RDNA 4核心Navi 48打造，一共有64个计算单元，也就是4096个流处理器、64个光追加速器和128个AI加速器，Boost频率最高可达2920MHz。单看这些参数你可能会觉得有点眼熟，那也没错，就核心部分它跟RX 9070 XT这张游戏卡是一样的，甚至在代号上都是gfx1201，只是Boost频率低了50MHz而已。

但是，它在显存容量上翻了个倍，达到了32GB 256-bit GDDR6。这意味着就算它是单卡，可以运行的模型也比RX 9070 XT要丰富。

至于功耗方面，这张显卡为300W，和RX 9070 XT差不多。

软件支持：ROCm平台

介绍完了硬件平台，就来介绍一下软件方面的设置。

虽然在AI平台这块NVIDIA的CUDA拥有无可置疑的统治力，但是AMD的ROCm的进步也是相当快的，目前ROCm的正式版是7.1.1，该版本加入了对PyTorch 2.9这个新版本的支持，不同显卡的AI模型支持也得到了更新。当然更重要的是，ROCm 7.1.1的性能得到了提升。

至于支持系统方面，ROCm 7.1.1支持Linux和Windows。虽说自从ROCm 6.4.4开始，Windows也获得了PyTorch的支持，但是就ONNX运行时、Flash Attention 2这些组件的支持度来说，还是Linux比较好的。个人觉得Windows一侧还是比较适合游戏玩家尝鲜用。

考虑到本次视频的长度有限，具体的安装方法在这里就不说了，各位可以去AMD的ROCm文档查看。那里除了包括驱动到Pytorch的安装全步骤外，还有vLLM和ComfyUI的用例，可以帮助你快速搭建环境。

性能测试单显卡

因为一张AI Pro R9700显卡就有32GB显存了，这规格放在一众显卡里面也算大的，所以我们就先来看看一张卡的表现。

首先还是大家熟悉的ComfyUI为例。运行现时流行的文生图开源模型Z Image Turbo，以FP8格式运算，分辨率1024 x 1024，步数为9的情况下，生成一张图只需要约5.5秒；如果是精度更高的BF16，每图生成时间则来到7秒左右。性能消耗方面，如果使用BF16格式，Z Image Turbo本体在生成时最高要占用20GB左右。而FP8的占用就小很多了，最多也就15GB。

FP8格式

BF16格式

其实从对比图上可以看出，FP8的质量和BF16差不多。实际使用的话，用FP8显然效率更高。

视频生成模型这里我们用的是Wan 2.2 14B I2V（I to V）图生视频，也是阿里旗下的大模型。用ComfyUI提供的默认工作流，使用lightx2v LoRA加速，生成一个5秒的640 x 640视频，耗时大概在2分钟多一点左右。

Wan 2.2对于显卡的压力还是很大的，运行时GPU使用率就没低过100%。VAE解码时，显存占用甚至高达30GB。

LLM方面，基于llama.cpp开发的LM Studio是比较适合单显卡用户的。它的图形化界面非常易于操作，无论是下载模型、本机加载还是开放给局域网使用，都只要点点鼠标就得了。

我们在LM Studio上加载了Qwen 3 VL 30B这款多模态模型的Q4_K_M量化版本。你看，这速度还是很快的，一下子就读完了图上AMD处理器的关键信息。

多显卡

ComfyUI本体是为单显卡设计的，当然它也有一些插件和修改版支持多显卡平台。比如说MultiGPU这个插件，可以将模型的不同组件分布到不同的显存中，减轻主计算卡的压力。需要注意的是，这只是缓解显存压力，并不属于真正的并行推理。可以看到虽然4张卡的显存都有占用，但始终只有其中1张卡的GPU使用率是100%的。

不过这个插件还是能降低耗时的，同样的Wan 2.2 14B图生视频工作流，把模型的加载器替换成MultiGPU的话，能节省大概24秒的时间。

说到LLM的话，vLLM这个推理引擎更适合多显卡环境。因为AMD已经提供了一个开箱即用的vLLM docker给我们，所以用起来反而比ComfyUI更加简单，至少不用在设置环境上忙活太多。

4张R9700一共有128GB显存，我们问了一下各大AI和查了查资料后发现，Deepseek R1 Distill Llama 70B是一个在范围内不错的选择。我们运行的是这个模型的FP8动态量化版本。它平均在每张显卡上占用了27GB显存，GPU占用率也是跑满的。

使用vLLM自带的性能测试套件进行测试的话。总共100个提示词，10并发设置下，这组显卡输出Token吞吐量是每秒137个，平均每个Token输出时间约0.06秒。可以看到，随着并发数的提升，输出吞吐量也有所上升，更重要的是输出延迟还是在一个相当不错的水平。这意味着就算在办公室这种多人使用的环境下，4张R9700仍然能保持着足够的反应速度，不至于大家一起用的时候，会有其中一个聊天窗口吐不出字来。

当然，无论是vLLM的本体，还是性能测试套件，它都是在终端界面进行的。实际应用中，我们需要其他软件来提高使用体验的，比如说AnythingLLM、Open WebUI等。特别是Open WebUI，它提供了一个能用浏览器访问的聊天界面，无论是电脑还是手机都可以直接跟AI交互，适用性更广。

总结

对于AI应用来说，显存容量有多重要想必已经不用我们一再提及了。Radeon AI Pro R9700拥有32GB的超大显存，但售价比起其他32GB显存的显卡要更低，这是它的有力竞争点。如果是像我们这台工作站一样多卡堆叠，性价比会更加突出。

当然，这张显卡也不仅仅停留在“显存大”这个层面上，RDNA 4架构的第2代AI加速器新增了对FP8/INT4格式的支持，可支持现时主流的FP8量化模型。最后，在软件支持层面上，ROCm的进步也是比较快的，虽然很多工具和模型在安装方法和运行参数上还是以NVIDIA显卡为举例，但实际用起来，ROCm也能在不作大修改的前提下跑通整个流程。特别是vLLM，直接用官方提供的Docker就能运行，可以说是非常省事了。