1530亿晶体管！AMD MI325X发布：比英伟达H200快40%！

AMD在旧金山举行的Advancing AI 2024大会上正式发布了其最新的AI加速器——Instinct MI325X，这款芯片的发布标志着AMD向业界领先者英伟达发起了新的挑战。MI325X基于AMD的CDNA 3架构，配备了256GB的HBM3E高带宽内存，内存带宽高达6TB/s，拥有1530亿个晶体管。在FP16精度下，其提供1.3 PetaFLOPS的计算性能，在FP8精度下则提供2.6 PetaFLOPS，相比前代MI300提升了1.3倍。

AMD声称，Instinct MI325X在内存带宽、FP16/FP8计算性能上超越了NVIDIA H200 HGX系统1.3倍，在内存容量上超越了1.8倍。特别是在运行Meta的Llama 3.1大模型时，MI325X的推理性能比H200高出40%。此外，MI325X还支持八卡并行，组成一个平台，提供2TB HBM3E内存和48TB/s带宽，计算性能可达10.4 PetaFLOPS（FP16）和20.8 PetaFLOPS（FP8）。

AMD还强调了其ROCm软件平台的优化，该平台已经进行了改进，旨在帮助开发者更便捷地将现有模型迁移至AMD硬件。

AMD表示，会和开源社区合作，将PyTorch、Triton、ONNX等框架的功能整合到ROCm堆栈中。MI325X预计将于2024年第四季度开始出货，与英伟达H200的大规模交付相差仅一个季度。随着MI325X的问世，AMD进一步明晰了其在AI领域的战略方向，并展示了其在AI芯片领域的实力。