大语言模型在处理超长上下文时，传统注意力机制面临内存和延迟的双重瓶颈。混合注意力模型通过融合多种机制，为这一问题提供了全新解法。vLLM V1的发布，标志着这种高效模型架构正式成为推理引擎的“一等公民”，带来了显著的性能提升与工程便利。
智能速览
传统注意力机制在长序列场景下面临内存与延迟瓶颈。
混合注意力模型融合多种机制，专为长序列高效推理设计。
vLLM V0对混合模型的支持是实验性的“补丁”，易用性差。
vLLM V1通过统一状态管理，将混合模型提升为“一等公民”。
页对齐与CUDA图优化是V1实现性能飞跃的关键技术。
基准测试证实，V1在吞吐量和延迟上全面优于V0。
精华内容
从V0的“权宜之计”到V1的“优雅重生”，vLLM对混合注意力模型的支持经历了一场深刻的架构革新。这场蜕变不仅是代码的重构，更是对效率与可用性的极致追求。
注意力的天花板
大语言模型在处理长序列时，传统注意力机制正触及性能天花板。其核心问题在于，KV缓存的内存消耗随序列长度线性增长，而预填充延迟则呈二次方攀升。当上下文扩展至12万token甚至更长时，这些瓶颈使得推理成本高企，甚至变得不切实际。
RAG、智能体和推理等真实场景对长序列的需求日益迫切，催生了对新架构的探索。混合注意力模型应运而生，它通过在标准注意力层中插入Mamba或线性注意力等高效机制，旨在保持模型质量的同时，显著压缩长序列推理的资源开销。
V0的权宜之计
在vLLM V0中，对混合注意力模型的支持是通过一个务实但脆弱的“补丁”方案实现的。该版本中，高效的KV缓存与独立的Mamba状态分开管理。系统要求用户预先设定一个`max_num_seqs`参数来为每个Mamba层分配状态张量。
这种设计存在明显缺陷：参数设置过高容易导致CUDA内存溢出，设置过低则会限制并发度，降低整体吞吐。这种不友好的用户体验，使得混合注意力模型在V0中更像是一个难以驾驭的实验性功能，而非生产就绪的解决方案。
V1的优雅重生
vLLM V1彻底重构了混合注意力模型的支持方案，核心是引入了统一内存分配器。该分配器能够同时管理KV缓存块和Mamba状态，将两者纳入同一资源池，从而解决了V0中的核心痛点。
为了实现统一，vLLM V1创新性地采用了页对齐技术。通过增加注意力块大小并对Mamba状态进行填充，确保不同机制的内存页大小完全一致。此外，通过精细调整数据张量的步幅，解决了注意力视图与Mamba视图的数据布局冲突，保证了两种状态在同一内存空间中无缝共存与高效访问。
性能决胜手
即便架构统一，要实现性能的全面超越仍需精细的工程优化。许多Mamba和线性注意力变体依赖Triton内核，但其固有的CPU启动开销在低延迟场景下会严重影响性能。
为攻克此难题，vLLM V1分阶段引入了CUDA图支持，从急切执行到分段图，再到结合解码完整图与混合批次分段图的FULL_AND_PIECEWISE方案。这一系列优化有效消除了CPU瓶颈，尤其是在处理小批次或低激活参数模型时，确保了V1的性能不仅恢复到V0水平，更在多数场景下实现了超越。
性能跃迁实证
基准测试数据直观地展示了V1的性能优势。在NVIDIA Nemotron-Nano-12B-v2模型上，启用FULL_AND_PIECEWISE CUDA图的V1版本，其吞吐量相比V0提升了2%到18%。
而对于70亿参数的MoE模型IBM granite-4.0-h-tiny，提升更为惊人。在低并发场景下，V1 FULL_AND_PIECEWISE方案带来了高达91%的吞吐量增幅，同时显著降低了首token延迟（TTFT）和token间延迟（ITL），充分证明了V1架构的先进性与高效性。
混合注意力模型已不再是实验品，而是应对长上下文挑战的成熟方案。vLLM V1通过将其纳入核心架构，并辅以深度工程优化，成功解锁了其性能潜力。这不仅为开发者构建高效AI应用铺平了道路，也预示着下一代大规模、长序列推理工作负载的新可能。
