什么值得买App下载 App ›
连续签到专享现金活动

Y26W05 | NVIDIA MGX架构解析:CX-8重构PCIe拓扑的技术实现

在传统的8卡PCIe GPU服务器架构中,典型的树形拓扑结构存在明显的性能瓶颈。CPU作为根节点,通过PCIe Switch连接GPU,导致GPU间通信必须经过Switch甚至CPU,造成高延迟和带宽浪费。这对于需要频繁进行All-Reduce、Reduce-Scatter等集合通信的AI训练任务而言,是主要的性能制约因素。
01架构背景与核心思路
为解决上述问题,NVIDIA在高端卡上推出了NVLink技术以建立GPU直连通路,但RTX系列、L40S等中低端PCIe形态显卡仍依赖PCIe进行数据交换。MGX平台的核心思路在于替换传统的PCIe Switch,利用自家的ConnectX-8网卡芯片重新设计服务器互连架构,旨在为中端市场提供性能与成本平衡的解决方案。
02硬件解析:CX-8基板设计
在硬件实现层面,ODM厂商通过引入CX8 Baseboard(基板)来承载核心互联功能。该基板位于GPU卡下方,其设计包含以下关键要素:
  • 芯片布局
    基板背面焊接了4颗ConnectX-8芯片。这种布局可能是为了规避正面散热器的机构干涉。
  • 接口配置
    配备了8个QSFP连接器及MCIO连接器,用于数据传输与主板连接。
  • PCIe支持
    每个CX8芯片支持两个PCIe x16插槽,硬件设计上支持PCIe Gen6标准,但目前适配的GPU为Gen5。
  • 网络拓展
    系统搭配一个BlueField 3网卡,提供400G带宽,用于连接业务网络和存储。
03技术考量与供电方案
选择ConnectX-8作为核心组件,主要基于其多功能集成的特性。CX8不仅具备网卡功能,还集成了PCIe交换能力和交换Fabric功能,能够同时处理多种数据流,显著提升了系统集成度。在供电方面,针对600W TDP的GPU配置,系统采用了4个3200W的电源模块(PSU),确保了高负载下的稳定运行。
总体而言,MGX架构并非为了与搭载NVLink的高端HGX平台竞争,而是定位中端市场。它为无法承担H100成本的用户提供了以8张L40S或RTX 6000加CX8的替代方案,虽然在极限性能上存在差距,但对于推理场景和小规模训练任务已能满足需求。

评论

评论区空态插画

当前文章无评论,是时候发表评论了