什么值得买App下载 App ›
连续签到专享现金活动

GPU基础知识:从硬件架构到AI计算

在大模型时代,GPU 被视为核心的算力引擎。训练一个千亿参数的大型语言模型通常需要数千块 GPU 连续运行数月,而推理服务的吞吐量与延迟也直接取决于 GPU 的利用效率。对于 AI 基础设施工程师而言,深入理解 GPU 的硬件架构与工作原理,是进行算子优化、并行计算及资源调度的基础。本文将从架构对比、内部组成、存储层级、核心加速单元及编程模型等维度,系统梳理 GPU 的技术细节。
01计算模式:CPU 与 GPU 的核心差异
理解 GPU 价值的最直观方式是与 CPU 进行对比。CPU 采用低延迟导向设计,拥有强大的控制逻辑和复杂的缓存,擅长处理逻辑分支繁多且串行的任务,类似于一位经验丰富但只能逐份批改试卷的阅卷老师。相比之下,GPU 采用高吞吐导向设计,牺牲了复杂的流控制,集成了成千上万个简单计算核心,能够同时处理大量并行任务,类似于 10000 名仅负责核对答案但能同时开工的临时工。深度学习的计算核心是海量的矩阵乘法和逐元素运算,这类任务具有高度并行性,恰好契合 GPU 的架构优势。
特性CPUGPU
设计导向延迟导向吞吐导向
核心数量几十个(核心少且强)数千个(核心多且小)
擅长任务复杂逻辑、串行计算、操作系统密集计算、图形渲染、矩阵运算
典型算力 (FP16)个位数 TFLOPS (如 Intel Xeon w9-3595X)数百至数千 TFLOPS (如 H100 达 989 TFLOPS)

CPU 与 GPU 核心特性对比

02内部架构:SM、Warp 与执行机制
NVIDIA GPU 的计算核心按层级组织,从外到内主要分为 GPU 设备、GPC(图形处理簇)和 TPC(纹理处理簇),最底层是 SM(流多处理器)。SM 是 GPU 架构的关键,所有的线程调度和执行都在此层面发生。以 H100 为例,每个 SM 内部包含 CUDA Core、Tensor Core、寄存器文件、共享内存和 Warp 调度器等资源。
  • 资源分配粒度:SM 是资源分配的最小单位。在 CUDA 编程中,一个 Thread Block 会被调度到一个 SM 上执行,该 SM 内的寄存器和共享内存由其承载的所有 Thread Block 共享。
  • Warp 执行机制:GPU 以 Warp(线程束)为单位执行指令,通常包含 32 个线程。这些线程采用 SIMT(单指令多线程)模式锁步执行,即同一 Warp 内的 32 个线程在同一周期执行相同的指令。
  • 性能陷阱:若 Warp 内的线程因分支语句(如 if-else)走向不同路径,会导致部分线程被掩码并空转,这种现象称为 Warp Divergence,是 GPU 编程中必须极力避免的性能瓶颈。
03存储层级:带宽瓶颈与算术强度
GPU 的存储层级与 CPU 类似,越靠近计算核心速度越快但容量越小。AI 工作负载中,显存带宽往往比算力更先成为瓶颈,因此业界有 "Memory is the new compute" 的说法。HBM(高带宽内存)通过硅中介层与 GPU 芯片互联,相比传统 GDDR 显存提供了数倍的带宽提升。
存储类型位置容量速度用途
RegistersSM 内部极小极快线程私有变量
Shared MemorySM 内部小快Block 内线程共享数据
L2 CacheGPU 芯片中等中全局数据缓存
Global Memory (HBM)GPU 芯片外大 (80GB+)慢 (相对)存储模型参数与激活值

GPU 存储层级结构

判断一个计算任务是受限于算力还是带宽,可以使用“算术强度”这一指标,即每次内存读取对应进行的浮点运算次数。当算术强度低于 GPU 的 ops:byte 比率时,任务即为 Memory-bound。以 H100 SXM 为例,其 ops:byte 比约为 295。这意味着,如果 Kernel 每读取 1 字节数据执行的 FP16 运算少于 295 次,GPU 就会处于“等数据”的闲置状态。大多数深度学习算子(如 Attention、LayerNorm)的算术强度远低于此值,这也是 FlashAttention 等优化技术通过减少显存访问来提升性能的核心原因。
04核心加速:Tensor Core 原理与精度
CUDA Core 是通用计算核心,每个时钟周期执行一次 FMA(融合乘加)运算。而 Tensor Core 是专为矩阵运算设计的专用单元,一个时钟周期即可完成一个小矩阵的乘累加运算(MMA)。以 Hopper 架构为例,单个 Tensor Core 一个周期可完成 16x8x16 的 FP16 矩阵乘累加,相当于 CUDA Core 执行数千个周期的任务。
  • 对齐要求:要触发 Tensor Core 加速,矩阵维度通常需满足 8 或 16 的倍数对齐,否则硬件利用率将大幅下降。
  • 精度选择:BF16(Brain Floating Point)虽然与 FP16 同为 16 位,但保留了与 FP32 相同的 8 位指数位,动态范围更大,训练时不易溢出,因此现代大模型训练几乎全部采用 BF16。
05编程模型:CUDA 线程层级与内存空间
CUDA 是连接软件算法与硬件执行的桥梁。其程序以 Kernel 为单位在 GPU 上执行,线程组织分为三级:Grid(网格)、Block(线程块)和 Thread(线程)。执行流程包括 Host 分配显存并拷贝数据、GPU 启动 Kernel 并将 Block 分配至 SM、执行完毕后将结果拷回 Host。
变量声明存储位置作用域生命周期
__device__Global Memory所有线程全程
__shared__Shared MemoryBlock 内线程Block 生命周期
自动变量(无修饰)Registers单个线程线程生命周期
Local Memory (溢出)Global Memory单个线程线程生命周期

CUDA 变量存储映射关系

需注意 Local Memory 的特殊性:虽然名称含“Local”,但物理上位于 HBM,访问速度慢。当寄存器不足时,编译器会将变量溢出至 Local Memory(Register Spilling),这将导致严重的性能下降。理解底层 CUDA 有助于工程师编写更高效的 PyTorch 代码。
06系统扩展:分布式训练与互联策略
当单卡显存和算力无法满足需求时,必须采用多卡并行。以 8 卡 DGX H100 系统为例,卡间通过 NVLink 互联,带宽极高;节点间则通过 InfiniBand 互联。设计分布式训练策略时,应将通信量大的并行维度(如张量并行)置于 NVLink 上,而将通信量较小的维度(如数据并行)置于机间网络上。
策略原理适用场景通信特点
数据并行复制模型到各卡,切分数据大批量训练梯度聚合,通信量大
张量并行切分模型矩阵到各卡超大层模型训练频繁 All-Reduce,需高带宽
流水线并行按层切分模型到各卡超深模型训练点对点通信,通信量较小

主流分布式训练策略对比

评论

评论区空态插画

当前文章无评论,是时候发表评论了