什么值得买App下载 App ›
连续签到专享现金活动

🎉英伟达发布会学习、有记忆的代码优化引擎

在AI自动优化CUDA代码的过程中,现有的agent系统面临一个显著瓶颈:当面临新的kernel任务或硬件环境变更(如从A100切换至H100)时,系统往往无法复用之前的优化经验,导致每次优化都必须像“第一次写CUDA”那样从头探索。这种无法迁移经验的模式,极大地增加了计算成本并降低了优化效率。
01传统AI优化模式的局限性

优化策略对比

现有Agentic系统

每次重新探索,成本高昂

  • 重复探索:针对不同kernel或GPU,重新尝试线程布局与shared memory tiling。
  • 经验断层:之前学到的优化经验无法在任务间传递。
  • 低效迭代:每次优化过程都如同初次接触,缺乏积累。
可迁移经验模式

复用通用策略,提升效能

  • 策略复用:识别不同kernel间共通的优化策略。
  • 类比借鉴:在新任务中直接应用成功的经验模式。
  • 持续学习:避免重复探索,显著减少时间成本。
02Memory-Augmented框架原理
为解决上述问题,英伟达提出了“Memory-Augmented In-context Reinforcement Learning”框架。该框架的核心机制在于赋予AI系统记忆与检索能力,使其能够在优化过程中积累经验并实现跨任务复用。
  • 轨迹记录:在RL探索过程中,持续记录优化轨迹,涵盖profiling结果、代码修改策略及性能变化数据。
  • 经验存储:将这些历史经验存入可检索的memory数据库中,形成知识库。
  • 上下文检索:当新的kernel到来时,系统检索类似的优化轨迹。
  • 经验注入:将检索到的历史经验作为prompt提供给agent,指导其在新任务中应用已验证的策略。
03落地成效与开源
项目维度具体内容与成果
项目来源英伟达(NVIDIA)实习期间落地项目
技术转移已通过technology transfer在英伟达内部多团队使用,承担实际CUDA kernel优化任务
开源情况论文与代码已完整开源(KernelBlaster)
核心价值显著减少探索成本,提高优化性能,实现经验在AI系统内的持续流动

Memory-Augmented框架落地应用一览

  1. 论文链接:https://arxiv.org/abs/2602.14293
  2. 代码仓库:https://github.com/NVlabs/KernelBlaster

评论

评论区空态插画

当前文章无评论,是时候发表评论了