榨干异构GPU潜能!北大联合提出大模型推理kernel级解耦系统,吞吐较PD范式提升2.3倍
随着大模型应用的普及,数据中心对GPU算力的需求日益增长,但现有计算资源往往存在巨大的浪费。研究表明,在传统调度机制下,GPU集群中高达一半的计算能力未被有效利用。造成这一局面的核心原因在于,现有系统无法充分挖掘异构GPU集群的架构多样性。针对这一痛点,北京大学联合多家机构提出了Tessera系统,这是首个通过Kernel粒度解耦来利用GPU异构性的系统,旨在通过更精细的任务拆分与调度,大幅提升推理性能与成本效率。
01核心洞察:从阶段级到Kernel级解耦
传统的异构GPU调度策略通常采用“预填充-解码(PD)”分离的模式,即根据大模型推理的不同阶段(如预填充阶段和解码阶段)将任务分配给不同类型的GPU。然而,这种粗粒度的拆分方式忽略了同一阶段内部不同计算任务的资源偏好差异。Tessera系统的核心创新在于将任务拆分的粒度从“阶段”细化到了“Kernel”(计算内核)级别。
| 对比维度 | 传统PD范式 | Tessera系统 |
|---|---|---|
| 拆分粒度 | 阶段级(如Prefill/Decode) | Kernel级(具体计算工序) |
| 资源匹配 | 粗略匹配,无法捕捉微观差异 | 精确匹配,针对每个Kernel特性调度 |
| 异构利用 | 低效,部分GPU优势未发挥 | 高效,最大化利用不同GPU架构优势 |
传统调度与Tessera Kernel级解耦对比
研究团队对不同AI模型中的Kernel进行了深入分析,发现了一个关键事实:在某些任务中,高达53%的计算时间在便宜的L40S GPU上运行反而比昂贵的A100 GPU更快。这表明,不同Kernel对计算强度、内存带宽等硬件资源的需求存在显著差异。例如,A100凭借强大的内存带宽适合搬运大量数据,而L40S则凭借高计算核心数更适合执行复杂的数学运算。Tessera正是利用这种Kernel级别的异构性,将每个计算任务分配给最擅长的GPU,从而突破了传统方法的性能瓶颈。
02技术实现:解决三大关键挑战
- 正确性保证:PTX指令级追踪
Kernel之间存在数据依赖(如Kernel A的输出是Kernel B的输入),随意拆分可能导致数据混乱。Tessera通过分析GPU的底层中间指令(PTX),精确追踪每个Kernel访问的内存地址范围,从而准确识别Kernel间的依赖关系,确保计算结果的正确性。 - 通信开销掩盖:流水线并行
当依赖的Kernel位于不同GPU时,数据传输可能成为瓶颈。Tessera引入流水线技术,允许同时处理多个请求。当GPU1计算第二批数据时,GPU2可以处理第一批数据的下一个步骤,通过重叠计算与通信时间,有效掩盖传输延迟。 - 最优分配求解:MILP数学优化
针对如何决定Kernel去向的问题,Tessera使用混合整数线性规划(MILP)来求解最优分配策略。该算法综合考量Kernel特性、通信开销以及GPU负载,将其公式化为一个优化问题。对于在线服务场景,系统还采用专门的延迟优化策略,考虑每个请求的等待时间。
03实测效果与行业意义
在包含五种不同GPU和四种模型架构的真实环境测试中,Tessera的表现显著优于现有技术。数据显示,Tessera的吞吐量比现有最好方法提升了2.3倍,成本效率提升了1.6倍。更引人注目的是,一个A100加L40S的组合在Tessera的调度下,其性能表现居然超过了两个A100的组合,且成本更低。
行业观点对比
传统认知
认为同构集群管理简单高效
- 倾向于使用同型号GPU构建集群
- 认为异构环境增加了管理复杂度
- 粗粒度调度足够应对现有负载
Tessera视角
视硬件多样性为性能提升机会
- 异构组合可发挥不同GPU架构优势
- 精细调度大幅降低推理成本
- 高低端GPU混搭可达高端纯组性能
这一成果对AI基础设施的建设具有重要启示意义。它证明了在Kernel级解耦的调度下,异构反而可以成为优势。计算厂商未来可以灵活组合高低端GPU,用更低的成本达到更高的性能,打破了对同构高端GPU集群的路径依赖。目前,Tessera主要专注于NVIDIA GPU平台,对于跨厂商的异构支持尚未涉及,且在在线服务低负载场景下流水线效果有限,系统会自动退化为保守调度。
当前文章无评论,是时候发表评论了