什么值得买App下载 App ›
连续签到专享现金活动

[阅读笔记] AVO: Agentic Variation Operators for Autonomous Evolutionary Search

随着智能体在研究与编程领域的成熟度不断提升,商业化应用加速落地。在编程细分领域中,Kernel programming(内核编程)被视为高价值挑战之一。尽管过往尝试大多效果有限,但该方向正逐步走向成熟。NVIDIA最新提出的AVO(Agentic Variation Operators)工作,代表了当前CUDA Agent系列工作的SOTA(State-of-the-Art)。该研究利用通用代码智能体接管了Kernel生成过程中的样本采样、代码生成与评估环节,通过自主演化实现了高性能CUDA Kernel的自动优化。
01技术原理与工作流程
不同于此前采用MAP-Elites等复杂演化方式的尝试,AVO回归最基础的线性迭代模式,但其核心创新在于将迭代过程中的关键操作全部交由Agent执行。系统将Kernel生成过程视为利用Agent不断迭代Kernel集合的循环,并在知识库(Knowledge Base)与评分函数(Scoring Function)的辅助下完成演化。
  • 代码版本管理:通过Git维护历史代码版本,只有通过测试的代码才会被提交(Commit),未通过的则作为临时代码处理,Agent在生成新版本时可查看所有历史代码。
  • 分阶段优化策略:在演化的早期阶段,Agent主要进行结构修改;进入后期阶段后,则主要依据Profiling(性能分析)结果进行微架构(Micro-arch)层面的调整。
  • Supervisor监控:引入Supervisor Agent确保演化循环持续进行,这一设计与通用代码Agent的架构思路保持一致。
02知识库构成与实验结果
AVO的效能建立在坚实的专业知识库之上,为Agent提供了必要的上下文信息与规范参考。实验数据显示,该方法不仅能够复现现有高性能库的能力,还能进一步突破性能上限。
  1. 知识库来源:集成CUDA Programming Guide、PTX ISA Documentation、Blackwell Architecture Specifications以及包含FA4源码的Kernel源码,确保生成的代码符合硬件架构特性与编程规范。
  2. 性能对比:在Causal(因果)场景下,NVIDIA自有的闭源cuDNN库性能超越了FA4;而AVO生成的代码在此基础上进一步优化,性能超过了cuDNN。
  3. 泛化能力:Agent在实验中学到的优化策略能够成功迁移至GQA(Grouped Query Attention)任务,显示出该方法的通用性。测试方法与FA4保持一致,确保了对比的公正性。
03总结与评价
AVO工作通过将Sample、Generate、Evaluate全流程Agent化,结合精细的知识库管理与Git版本控制,实现了CUDA Kernel的自主演化优化。其超越cuDNN的实验结果证明了基于Agent的演化搜索在高性能计算领域的巨大潜力。该研究不仅展示了通用代码Agent在垂直领域的适应能力,也为Kernel programming的自动化提供了新的技术范式。

评论

评论区空态插画

当前文章无评论,是时候发表评论了