深入理解 GPU 架构与优化策略是提升计算性能的关键。本文系统梳理了从 GPU 设计理念、内存层级到访存合并、算子融合等核心优化技术，并结合 FlashAttention 案例，展示如何打破显存瓶颈，实现极致加速，为高效并行计算提供实践指南。
智能速览
GPU与CPU设计理念根本区别在于吞吐量与延迟的侧重。
内存层级是GPU性能的关键，L1/共享内存速度远快于全局显存。
Roofline模型揭示了性能瓶颈是受限于计算还是访存。
算子融合、重计算和分块是减少显存访问的核心策略。
使用低精度计算能有效提升计算密度，但需平衡精度损失。
FlashAttention通过Online Softmax技术，实现了Attention的分块计算。
精华内容
要释放GPU的全部潜能，必须深入其架构并掌握特定的优化技巧。下面将系统探讨从硬件设计到软件实现的多种加速策略，并以FlashAttention为例，剖析理论如何落地为实际的性能飞跃。
架构设计之别
CPU与GPU在设计理念上存在根本差异。CPU拥有强大的控制单元和大量缓存，其核心目标是降低单个任务的执行延迟。相反，GPU将大部分芯片面积用于计算单元，即流式处理器（SP），这些SP被组织在多个流式多处理器（SM）中。这种设计使得GPU能够以极高的吞吐量处理大规模并行任务，但单个任务的延迟可能较高。
内存层级与瓶颈
GPU的内存体系呈现出明显的层级结构，速度和延迟与距离计算单元的远近直接相关。最快的SM内部L1缓存和共享内存，延迟最低；其次是片上的L2缓存，延迟约为共享内存的10倍；最慢的是全局显存（HBM）。
Roofline模型是一个重要的性能分析工具，它以计算强度为横轴，理论峰值为纵轴，绘制出一条屋顶状曲线。该曲线清晰地表明，当应用的实际计算强度较低时，性能受限于内存带宽；而当计算强度足够高时，性能则受限于硬件的峰值计算能力。
核心优化策略
为克服Roofline模型揭示的瓶颈，衍生出多种优化策略。
首先是访存合并与分块。利用DRAM的突发访存特性，确保一个线程束内访问连续的内存地址，可以最大化内存带宽利用率。分块技术则是将大任务切分，把需要重复使用的数据从慢速的全局显存加载到快速的共享内存中，大幅减少重复访存。在矩阵乘法中，合理的分块策略能带来数倍的加速比。
其次是算子融合与重计算。算子融合将多个连续操作合并为一个大的内核，减少了中间结果在显存和计算单元间的读写次数。重计算则以计算换访存，在反向传播时重新计算前向过程的中间激活值，而不是从显存中读取。例如，应用重计算后，Softmax的前向与反向计算访存次数可减少38%。
最后是低精度计算。将数据类型从FP32转换为FP16或BF16，能使数据传输量减半，从而有效提升计算密度。为解决低精度带来的舍入误差问题，现代Tensor Core在执行矩阵乘法时会使用全精度的累加器，兼顾了访存效率与计算精度。
FlashAttention案例
FlashAttention是上述优化策略的集大成者，它专注于解决标准Attention机制中的显存瓶颈。标准Softmax需要全局扫描数据以确定最大值，这使得其无法进行分块计算，成为性能瓶颈。
FlashAttention通过引入Online Softmax技术解决了此问题。该技术允许在不知道全局最大值的情况下，逐块扫描数据并动态维护局部的最大值与求和值，最后再对各块结果进行归一化修正。结合对QK^T矩阵乘的分块计算，FlashAttention显著降低了对高带宽显存（HBM）的依赖，实现了IO感知的极致加速。
从 GPU 架构的底层逻辑到 FlashAttention 的巧妙实现，一系列优化策略展示了如何系统性地解决性能瓶颈。这些技术不仅加速了深度学习模型，也为所有大规模并行计算任务提供了宝贵的思路。未来的计算优化，将在硬件与软件的协同设计中走向何方？
