ML 面试准备 - 大模型之Paged Attention具体原理以及其实现
在大模型服务(LLM Serving)场景中,系统面临的挑战不仅仅是算力的限制,更在于如何在高并发环境下高效管理 KV Cache。KV Cache 用于存储注意力机制中的 Key 和 Value 向量,其大小会随着生成 token 的数量动态增长。由于请求长度各异、生成时间不同,这种动态资源如果管理不当,会直接导致显存碎片化、吞吐量下降以及服务成本攀升。因此,优化 KV Cache 的管理效率成为了提升推理性能的关键环节。
01KV Cache 的管理痛点
- 内存碎片化
由于请求的随机到达和结束,显存中会出现大量不连续的空闲空洞。这些碎片空间因为无法满足新请求对连续内存的需求,导致“显存有空余但无法分配”的现象。 - 冗余复制
在多请求共享 prompt 或 Beam Search 拥有相同前缀的场景下,传统系统往往为每个序列单独存储完整的 KV Cache,导致大量相同内容的重复存储,造成显存浪费。 - 资源动态性
KV Cache 既不是像权重那样的静态资源,也不是像激活值那样的瞬时资源,而是随请求生命周期持续膨胀的长期支出,是并发量的主要瓶颈。
02传统连续分配方案的缺陷
传统推理系统通常采用连续内存分配策略,即为每个请求预留一整块连续的缓存区域。这种方式在逻辑上简单直观,但在实际高并发场景中暴露出严重的局限性。系统往往难以预测请求的最终生成长度,导致不得不采取“预分配最大长度”的策略,这会引发严重的资源浪费。
| 问题类型 | 具体表现 | 产生后果 |
|---|---|---|
| 内部碎片 | 预留了 2048 token 空间,实际仅生成 500 token | 大量显存被锁死但未使用,利用率低下 |
| 外部碎片 | 显存中存在大量不连续的小块空闲区 | 无法满足新请求的大块连续分配需求,并发数上不去 |
| 低效预分配 | 按最坏情况预留最大序列长度 | 80% 以上的 KV Cache 内存长期处于空闲状态 |
传统连续分配模式的主要问题
03PagedAttention 核心原理
PagedAttention 借鉴了操作系统的分页思想,放弃了“连续空间思维”,转而采用“分页映射思维”。它不再要求 KV Cache 在物理显存上连续存放,而是将其切分成固定大小的块,通过 Block Table 建立逻辑序列到物理块的映射关系。Attention Kernel 在计算时,只需通过映射表查找对应的 Key 和 Value,无需数据物理相邻。
KV Cache 管理策略对比
灵活高效
非连续存储,消除外部碎片
按需申请 Block,极大减少内部碎片
支持 Block 级共享,避免冗余存储


僵化浪费
强依赖连续内存,易产生外部碎片
需预留最大空间,内部碎片严重
相同前缀需各自完整存储,显存浪费大
04vLLM 的工程实现与价值
vLLM 是基于 PagedAttention 思想的完整推理系统实现,它不仅实现了内存的分页管理,还构建了包含请求调度、Block 管理和内核协作的完整 Serving Engine。vLLM 通过引用计数和 Copy-on-Write 机制,实现了物理块的跨请求共享。在 Beam Search 等场景中,相同前缀的序列只需维护一份 KV Cache,仅在分叉点进行增量复制,显著降低了显存占用。
- 显存利用率提升
消除了预留浪费和碎片空间,实现了“接近零浪费”的 KV Cache 管理,仅保留末尾 Block 的微量未用空间。 - 并发能力增强
节省的显存空间可用于容纳更多活动请求,直接提升了系统的 batch size 和并发处理能力。 - 吞吐量倍增
更大的 batch size 提高了 GPU 利用率,使得整体吞吐量提升 2 到 4 倍,同时降低了请求排队延迟。
当前文章无评论,是时候发表评论了