什么值得买App下载 App ›
连续签到专享现金活动

AMD GPU 的 MoE kernel 如何在运行时选出最优汇编内核

Mixture of Experts (MoE) 架构已成为当前大模型推理的关键技术,被 DeepSeek-V3、Mixtral 等主流模型广泛采用。其核心计算在于 Fused GEMM,即将 gate 投影、激活函数及 down 投影融合至单一内核中以提升效率。AMD 针对 ROCm 生态打造的 AITER 推理库,利用大量手写汇编内核(.co 文件)在 MI300X 等 GPU 上加速此过程。然而,面对不同的模型维度、Batch 大小及量化方式,预编译的几十个内核变体中如何在运行时选出最优解,是提升推理性能的核心问题。答案藏位于 asm_fmoe.cu 中的 get_heuristic_kernel 函数内。
01调用链路与核心参数
get_heuristic_kernel 是 asm_fmoe.cu 文件中的内核调度中枢,文件中的四个主要入口函数均依赖它来决定实际执行的 ASM kernel。整个调用链路逻辑清晰:上层调用者传入参数,经由 get_heuristic_kernel 处理后返回 FMoeKernel 指针,最终通过 launch_kernel 启动内核。理解这一机制的关键在于明确其核心参数的含义,特别是 sub_X_cnt。
  • 调用链路
    调用者函数 → get_heuristic_kernel(inter_dim, sub_X_cnt, config_map, smf) → 返回 FMoeKernel* → impl_ptr->launch_kernel(...)
  • sub_X_cnt 参数解析
    该参数对应 GPU Grid 的维度之一,其值源于 MoE 的 sorting 阶段。在此阶段,所有 token 按 expert 分组,并以 block_size=32 对齐填充。每个“子块”最多包含 32 个分配给同一 expert 的 token,因此 sub_X_cnt 即为 token 子块的总数,代表了 M 维度上的工作单元数。
02启发式调度算法详解
get_heuristic_kernel 函数的核心逻辑是一套启发式算法,旨在从预编译的候选池中筛选出性能最佳的内核。算法执行分为两个阶段:过滤与打分。
  1. 阶段一:候选池过滤
    遍历配置条目,只有同时满足特定条件的内核才会被纳入考量。主要涉及两个关键技术指标:
    vskip (void skip):用于处理空块跳过。由于 MoE sorting 以 32 对齐填充,末尾会产生空的 padding 块。vskip=1 的内核能检测并跳过这些空块,避免算力浪费。
    smf (smooth fuse):控制 smooth quantization 是否融合进内核。
  2. 阶段二:指标计算与择优
    对通过过滤的候选内核计算特定指标,并按三级优先级进行选择。这是一个典型的 GPU 占用率最大化调度问题。选择不同的 subGU_n(tile 大小)会直接影响 workgroup 数量(tg_num)。算法优先选择 rounds 最小的内核;若 rounds 相同,则选择 empty_cu(空闲 CU)最少的内核;若前两者均相同,则选择 subGU_n 最大的内核。
此外,当 cfg.ps == 1 时,内核采用持久化调度模式。选出的内核会被缓存至 static 局部变量 impl_ptr_map 中,首次调用时从磁盘加载 .co 文件并创建对象,后续调用直接命中缓存,避免了推理过程中反复执行 hipModuleLoad 的开销。
03Smooth Quant (SMF) 融合原理
smf (smooth fuse) 是理解 AITER 内核体系的重要维度,其目的是解决激活值中离群值导致的量化精度丢失问题。

量化方式对比:普通量化 vs Smooth Quant

独立缩放模式
  • 对输入激活 X 和权重 W 各自独立进行缩放

  • 若 X 中存在极大离群值(如 100.0),scale 需覆盖该值导致其他小数值(如 0.1)量化后归零,信息丢失

平滑融合模式
  • 将激活中的“尖刺”转移一部分至权重,使双方分布更平滑

  • 通过引入 smooth scale,在保持数学等价的前提下提升量化精度

  • AITER 将 smooth scale 的计算融合进矩阵乘的 ASM 内核中,在数据处于寄存器/LDS 时完成,减少额外 kernel launch 开销

综上所述,AIT 通过“静态预编译 + 运行时启发式选择”的模式,有效解决了多变体内核的调度难题。这套基于 AMD GPU CU 架构的策略,通过精细化的过滤与打分机制,实现了硬件资源的最大化利用,为高性能计算中的 kernel auto-tuning 提供了极具参考价值的实践范本。

评论

评论区空态插画

当前文章无评论,是时候发表评论了