什么值得买App下载 App ›
连续签到专享现金活动

这次是cutedsl backend

PyTorch 官方发布了一项针对 TorchInductor 的重要更新,引入了由 NVIDIA 开发的新型 GEMM 后端——CuteDSL。该后端旨在解决现有矩阵乘法实现中编译开销大与优化灵活性不足的问题,通过 Python 实现的高性能 DSL,为 PyTorch 的编译推理提供了新的技术路径。
01技术背景:原有后端的痛点
  • 编译代价高昂
    原有的 CUTLASS C++ 后端虽然性能优异,但在每次自动调优(autotune)时都需要运行完整的 nvcc 编译过程,导致时间成本极高。
  • 融合决策受限
    受限于编译流程,CUTLASS 后端难以灵活处理 epilogue fusion 的决策,限制了算子融合的优化空间。
  • 多后端并存
    此前 Inductor 主要依赖 Triton、CUTLASS C++ 和 cuBLAS 三种后端,缺乏一种兼顾性能与编译效率的统一方案。
02CuteDSL 核心优势
CuteDSL 的核心价值在于平衡了底层抽象能力与编译速度。它基于与 CUTLASS C++ 相同的底层抽象构建,完整保留了 tile algebra、warp 控制和分布式共享内存等关键技术特性。但由于其使用 Python 编写,编译速度显著提升,接近 Triton 的水平,从而大幅降低了自动调优的开销。

后端特性对比

新后端优势
  • Python 实现,编译速度快

  • 支持灵活的 epilogue fusion 决策

  • 具备高性能底层抽象(Tile Algebra 等)

旧后端局限
  • 依赖 nvcc,编译开销大

  • Epilogue fusion 决策能力弱

  • 自动调优耗时长

03接入方式与扩展性
  1. 自动筛选机制
    通过新增 NVGEMM 后端选项,Inductor 在执行矩阵乘法时,会将 CuteDSL 生成的候选 kernel 与 ATen、Triton 共同进行 benchmark,自动择优选用。
  2. 平滑回退策略
    对于不支持的 shape,系统会自动回退到其他后端,确保流程稳定性,不会引入额外错误。
  3. 架构扩展演示
    开发团队在 NVIDIA 上游正式支持之前,率先通过注册自定义 kernel 的方式,将 FP4 GEMM(NVFP4/MXF4)接入同一套 autotune 流水线,验证了该架构良好的扩展性。
04未来规划与使用
目前的更新版本已可供用户测试,开发者可通过设置配置项 `config.max_autotune_gemm_backends = "ATEN,TRITON,NVGEMM"` 来启用该后端。后续开发计划将重点推进 epilogue fusion 的完善、AOT 编译支持,并长期目标是完全替换 CUTLASS C++ 后端,仅保留 CuteDSL 作为技术路线。

评论

评论区空态插画

当前文章无评论,是时候发表评论了