GPU基础知识:从硬件架构到AI计算
在大模型时代,GPU 被视为核心的算力引擎。训练一个千亿参数的大型语言模型通常需要数千块 GPU 连续运行数月,而推理服务的吞吐量与延迟也直接取决于 GPU 的利用效率。对于 AI 基础设施工程师而言,深入理解 GPU 的硬件架构与工作原理,是进行算子优化、并行计算及资源调度的基础。本文将从架构对比、内部组成、存储层级、核心加速单元及编程模型等维度,系统梳理 GPU 的技术细节。
01计算模式:CPU 与 GPU 的核心差异
理解 GPU 价值的最直观方式是与 CPU 进行对比。CPU 采用低延迟导向设计,拥有强大的控制逻辑和复杂的缓存,擅长处理逻辑分支繁多且串行的任务,类似于一位经验丰富但只能逐份批改试卷的阅卷老师。相比之下,GPU 采用高吞吐导向设计,牺牲了复杂的流控制,集成了成千上万个简单计算核心,能够同时处理大量并行任务,类似于 10000 名仅负责核对答案但能同时开工的临时工。深度学习的计算核心是海量的矩阵乘法和逐元素运算,这类任务具有高度并行性,恰好契合 GPU 的架构优势。
| 特性 | CPU | GPU |
|---|---|---|
| 设计导向 | 延迟导向 | 吞吐导向 |
| 核心数量 | 几十个(核心少且强) | 数千个(核心多且小) |
| 擅长任务 | 复杂逻辑、串行计算、操作系统 | 密集计算、图形渲染、矩阵运算 |
| 典型算力 (FP16) | 个位数 TFLOPS (如 Intel Xeon w9-3595X) | 数百至数千 TFLOPS (如 H100 达 989 TFLOPS) |
CPU 与 GPU 核心特性对比
02内部架构:SM、Warp 与执行机制
NVIDIA GPU 的计算核心按层级组织,从外到内主要分为 GPU 设备、GPC(图形处理簇)和 TPC(纹理处理簇),最底层是 SM(流多处理器)。SM 是 GPU 架构的关键,所有的线程调度和执行都在此层面发生。以 H100 为例,每个 SM 内部包含 CUDA Core、Tensor Core、寄存器文件、共享内存和 Warp 调度器等资源。
- 资源分配粒度:SM 是资源分配的最小单位。在 CUDA 编程中,一个 Thread Block 会被调度到一个 SM 上执行,该 SM 内的寄存器和共享内存由其承载的所有 Thread Block 共享。
- Warp 执行机制:GPU 以 Warp(线程束)为单位执行指令,通常包含 32 个线程。这些线程采用 SIMT(单指令多线程)模式锁步执行,即同一 Warp 内的 32 个线程在同一周期执行相同的指令。
- 性能陷阱:若 Warp 内的线程因分支语句(如 if-else)走向不同路径,会导致部分线程被掩码并空转,这种现象称为 Warp Divergence,是 GPU 编程中必须极力避免的性能瓶颈。
03存储层级:带宽瓶颈与算术强度
GPU 的存储层级与 CPU 类似,越靠近计算核心速度越快但容量越小。AI 工作负载中,显存带宽往往比算力更先成为瓶颈,因此业界有 "Memory is the new compute" 的说法。HBM(高带宽内存)通过硅中介层与 GPU 芯片互联,相比传统 GDDR 显存提供了数倍的带宽提升。
| 存储类型 | 位置 | 容量 | 速度 | 用途 |
|---|---|---|---|---|
| Registers | SM 内部 | 极小 | 极快 | 线程私有变量 |
| Shared Memory | SM 内部 | 小 | 快 | Block 内线程共享数据 |
| L2 Cache | GPU 芯片 | 中等 | 中 | 全局数据缓存 |
| Global Memory (HBM) | GPU 芯片外 | 大 (80GB+) | 慢 (相对) | 存储模型参数与激活值 |
GPU 存储层级结构
判断一个计算任务是受限于算力还是带宽,可以使用“算术强度”这一指标,即每次内存读取对应进行的浮点运算次数。当算术强度低于 GPU 的 ops:byte 比率时,任务即为 Memory-bound。以 H100 SXM 为例,其 ops:byte 比约为 295。这意味着,如果 Kernel 每读取 1 字节数据执行的 FP16 运算少于 295 次,GPU 就会处于“等数据”的闲置状态。大多数深度学习算子(如 Attention、LayerNorm)的算术强度远低于此值,这也是 FlashAttention 等优化技术通过减少显存访问来提升性能的核心原因。
04核心加速:Tensor Core 原理与精度
CUDA Core 是通用计算核心,每个时钟周期执行一次 FMA(融合乘加)运算。而 Tensor Core 是专为矩阵运算设计的专用单元,一个时钟周期即可完成一个小矩阵的乘累加运算(MMA)。以 Hopper 架构为例,单个 Tensor Core 一个周期可完成 16x8x16 的 FP16 矩阵乘累加,相当于 CUDA Core 执行数千个周期的任务。
- 对齐要求:要触发 Tensor Core 加速,矩阵维度通常需满足 8 或 16 的倍数对齐,否则硬件利用率将大幅下降。
- 精度选择:BF16(Brain Floating Point)虽然与 FP16 同为 16 位,但保留了与 FP32 相同的 8 位指数位,动态范围更大,训练时不易溢出,因此现代大模型训练几乎全部采用 BF16。
05编程模型:CUDA 线程层级与内存空间
CUDA 是连接软件算法与硬件执行的桥梁。其程序以 Kernel 为单位在 GPU 上执行,线程组织分为三级:Grid(网格)、Block(线程块)和 Thread(线程)。执行流程包括 Host 分配显存并拷贝数据、GPU 启动 Kernel 并将 Block 分配至 SM、执行完毕后将结果拷回 Host。
| 变量声明 | 存储位置 | 作用域 | 生命周期 |
|---|---|---|---|
| __device__ | Global Memory | 所有线程 | 全程 |
| __shared__ | Shared Memory | Block 内线程 | Block 生命周期 |
| 自动变量(无修饰) | Registers | 单个线程 | 线程生命周期 |
| Local Memory (溢出) | Global Memory | 单个线程 | 线程生命周期 |
CUDA 变量存储映射关系
需注意 Local Memory 的特殊性:虽然名称含“Local”,但物理上位于 HBM,访问速度慢。当寄存器不足时,编译器会将变量溢出至 Local Memory(Register Spilling),这将导致严重的性能下降。理解底层 CUDA 有助于工程师编写更高效的 PyTorch 代码。
06系统扩展:分布式训练与互联策略
当单卡显存和算力无法满足需求时,必须采用多卡并行。以 8 卡 DGX H100 系统为例,卡间通过 NVLink 互联,带宽极高;节点间则通过 InfiniBand 互联。设计分布式训练策略时,应将通信量大的并行维度(如张量并行)置于 NVLink 上,而将通信量较小的维度(如数据并行)置于机间网络上。
| 策略 | 原理 | 适用场景 | 通信特点 |
|---|---|---|---|
| 数据并行 | 复制模型到各卡,切分数据 | 大批量训练 | 梯度聚合,通信量大 |
| 张量并行 | 切分模型矩阵到各卡 | 超大层模型训练 | 频繁 All-Reduce,需高带宽 |
| 流水线并行 | 按层切分模型到各卡 | 超深模型训练 | 点对点通信,通信量较小 |
主流分布式训练策略对比
当前文章无评论,是时候发表评论了