什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

CUDA-面试笔记-GEMM为什么要在 M 和 N 两个维度都做 tiling,而不是只在一个方向上 tile?

在通用矩阵乘法(GEMM)运算 C = A (M×K) * B (K×N) 中,为了提升计算效率,通常会对矩阵 C 进行分块处理。然而,分块策略的选择直接影响数据在缓存中的利用率。若仅在单一维度进行 Tiling,会导致数据访问模式无法有效利用局部性原理,从而限制了性能的提升。
01单维度 Tiling 的局限性
  • M 维度 Tiling(行块切分)
    若仅在 M 方向切分,一次处理一个 BM × N 的横向长条。此时,矩阵 A 被切分为小块,但矩阵 B 仍需保持完整的 K×N 形态参与计算。
  • N 维度 Tiling(列块切分)
    若仅在 N 方向切分,一次处理一个 M × BN 的纵向长条。此时,矩阵 B 被切分为小块,但矩阵 A 仍需保持完整的 M×K 形态参与计算。
  • 核心瓶颈
    无论选择哪种单维度切分,A 或 B 其中一个矩阵始终以“超大块”形式存在。这意味着缓存无法有效重用那一侧的数据,导致频繁的内存访问,降低计算效率。
02双维度 Tiling 的优势
为了解决单维度切分的问题,优化方案是在 M 和 N 两个维度同时进行 Tiling,将 C 切分成许多 BM × BN 的小方块。在具体实现中,还会进一步对 K 维度进行切分,引入 BK 参数,形成 A_sub (BM×BK)、B_sub (BK×BN) 和 C_tile (BM×BN) 的工作组。

Tiling 策略对比

单维度策略
  • 仅切分 M 或 N 一个维度,另一维度保持完整

  • 导致 A 或 B 矩阵中存在巨大数据块

  • Cache 无法容纳完整数据块,重用率低

双维度策略
  • 同时在 M 和 N 维度进行切分,形成小方块

  • 配合 K 维度的 BK 切分,数据块体积小

  • 当前计算所需数据能完整放入 Cache/寄存器

03原理分析:数据局部性与 Cache 重用
双维度 Tiling 的核心目的在于优化数据局部性。通过将计算任务划分为细粒度的 BM×BN×BK 立方体,可以确保当前计算步骤所需的 A_sub、B_sub 和 C_tile 能够同时加载到某一层 Cache 或寄存器中。这些数据在被加载后,会在该工作组内被多次反复重用,从而显著减少了从主存搬运数据的带宽需求和延迟开销。
对比维度单维度 Tiling双维度 Tiling (2D Tiling)
矩阵形态一个矩阵为小条块,另一个为整块所有参与计算的矩阵均为小块
Cache 利用整块数据超出 Cache 容量,无法重用小块数据完全放入 Cache,高重用率
内存访问频繁访问主存读取大矩阵数据减少主存访问,主要在 Cache 内部计算

不同 Tiling 策略下的数据访问特性对比

评论

评论区空态插画

当前文章无评论,是时候发表评论了