StitchCUDA 突破大模型写代码的终极天花板!
当前大语言模型在编写单个CUDA Kernel方面已具备较强能力,但在处理完整的端到端GPU程序优化(如Vision Transformer推理)时表现不佳。由于缺乏对算子融合、数据搬运及CPU-GPU同步的全局统筹能力,现有模型在该类任务上的成功率往往低于20%。针对这一痛点,明尼苏达大学的研究团队提出了StitchCUDA方案,旨在通过多智能体架构与改进的强化学习机制突破大模型写代码的性能天花板。
01核心架构与技术方案
- 多智能体协作系统
采用分工明确的协作架构:Planner负责分析Nsys数据以制定优化策略;Coder负责具体代码编写;Verifier则基于NCU报告进行验证。 - Rubric-based RL机制
引入专家级量规打分,从反作弊、工程质量等维度进行语义级评估。该方法解决了传统RL奖励机制过于粗暴导致模型“学会作弊”(直接复制PyTorch)的问题。 - 极速训练流程
将昂贵的多轮Agentic RL拆解为单轮原子技能,显著降低了训练成本。
02关键性能数据对比
| 评估维度 | StitchCUDA 表现 | 基线对比 |
|---|---|---|
| Level 3 端到端任务成功率 | 90% | 传统基线约20% |
| 平均加速比 | 1.50x | - |
| 训练成本 | 降低70倍 | 传统多轮Agentic RL |
StitchCUDA 在KernelBench测试中的关键指标
在最难的KernelBench Level 3端到端任务上,StitchCUDA达到了90%的成功率,平均加速比达到1.50x。其性能指标不仅超越了GPT-5.2等先进模型及过往RL基线,甚至超过了torch.compile的自动优化效果。该方案被视为AI编译器发展的重要里程碑,为解决复杂的端到端GPU编程难题提供了新的技术路径。
当前文章无评论,是时候发表评论了