聊聊大模型推理系统之 FlowPrefill:清华&北科大团队如何突破队头阻塞瓶颈,将 LLM 服务吞吐量提升 5.6 倍?
在大语言模型(LLM)服务场景中,用户请求的多样性带来了显著的调度挑战。当高优先级的简短请求与低优先级的长文档分析任务同时到达时,若系统正在全力处理长任务,短任务往往需要在队列中长时间等待。这种现象被称为“队头阻塞”(Head-of-Line Blocking),它直接导致用户感知的首令牌时间(TTFT)延长,甚至违反服务等级协议(SLO)。如何在保证系统整体吞吐量的同时,实现毫秒级响应,成为业界亟待解决的核心痛点。
01技术瓶颈:预填充阶段的调度困境
大模型推理主要分为预填充和解码两个阶段。预填充阶段涉及对输入Prompt的并行处理,属于计算密集型操作;解码阶段则是自回归地生成令牌,对内存带宽敏感。为了提升效率,现代高性能系统常采用“预填充-解码分离”架构,将两个阶段分配至不同GPU实例。然而,这种架构将计算压力集中于预填充实例,一旦出现超长任务霸占GPU,后续所有请求均会被阻塞。
现有解决方案的权衡困境
分块预填充
将长输入切分为小块,在块间留出调度间隙。
- 优势:高优先级请求有机会插队,响应速度快。
- 劣势:切分过细会导致频繁的KV缓存加载,显著降低计算效率。
分层调度
在Transformer每一层执行后进行调度检查。
- 优势:避免KV缓存重复加载,减少内存开销。
- 劣势:调度决策频率与执行粒度强耦合,频繁检查带来巨大的控制平面开销。
02核心原理:操作符级抢占与解耦
针对上述矛盾,清华大学与北京科技大学团队提出的FlowPrefill方案,其核心在于将“抢占调度决策频率”与“任务执行粒度”进行解耦。该方案不再依赖固定大小的块或层,而是将抢占检查点置于模型的核心操作符(如QKV投影、注意力计算、前馈网络等)边界处。这种设计实现了比传统方法更精细的抢占粒度。
- 协作式抢占机制
当调度器决定抢占当前任务时,并不粗暴中断GPU内核,而是等待当前操作符自然完成。这种机制在保证精细抢占能力的同时,维持了计算的高效性。 - 事件驱动调度策略
系统仅在“高优先级请求到达”或“当前任务完成”这两种关键事件发生时触发调度决策。在无高优请求到达的平静期,系统全速运行,无额外调度开销;一旦有急件闯入,则立即触发抢占响应。
03关键技术与性能表现
FlowPrefill在调度算法与批处理策略上进行了深度优化,以最大化系统收益。在调度层面,采用了松弛感知最早截止时间优先(LEDF)策略,系统会预估请求的松弛度(剩余时间减去预估执行时间),主动降低已无法满足SLO的请求优先级,将资源让给更有希望的任务。在批处理层面,实施了SLO感知算法,仅为高优先级的短请求智能匹配批处理同伴,确保总预估延迟不违反SLO。
| 评估指标 | FlowPrefill表现 | 对比基线(DistServe等) |
|---|---|---|
| 有效吞吐量提升 | 最高达到5.6倍 | 基准水平 |
| 抢占延迟 | 平均阻塞小于4.5ms | 层及抢占方案的3.5至4.2倍 |
| 模型兼容性 | 支持稠密模型与混合专家模型 | 特定架构优化 |
FlowPrefill与现有主流系统在QwenTrace轨迹下的性能对比
研究团队基于真实的生成式AI服务轨迹进行了全面评估。在Llama3-8B、Qwen2.5-14B和Llama3-70B等不同规模模型的测试中,FlowPrefill在保持90% SLO达标率的前提下,所能支撑的最大有效吞吐量达到了DistServe的4.7倍至5.6倍。实测数据表明,其操作符级抢占的平均阻塞时间被控制在4.5毫秒以内,完美印证了“近无阻塞”的设计目标。
04总结与行业价值
FlowPrefill通过操作符级抢占和事件驱动调度,成功解决了大模型服务中预填充阶段的队头阻塞难题。该研究不仅显著提升了系统的吞吐量和响应速度,更重要的是提出了一种利用模型计算图自然边界进行调度的新范式。这种敏捷的资源分配机制,为未来应对多模态、长上下文等复杂AI服务负载提供了重要的技术参考,是支撑上层AI应用流畅体验的关键底层创新。
当前文章无评论,是时候发表评论了