SGLang联合NVIDIA团队在GB300 NVL72上完成了DeepSeek长上下文推理优化。实测显示，峰值吞吐比GB200提升1.53倍，显存瓶颈得到缓解，大幅提升了推理效率。
智能速览
峰值吞吐达226 TPS/GPU，相比GB200提升1.53倍
128K长上下文推理首字延迟仅8.6秒
288GB HBM3e显存有效缓解并发瓶颈
FMHA kernel计算效率加速1.35倍
采用PD分离与Wide-EP等技术组合优化
精华内容
本次优化聚焦于长上下文推理场景，通过软硬件协同调优，大幅释放了GB300的算力潜能。
吞吐量倍增
在GB300 NVL72平台上运行DeepSeek 128K长上下文推理任务时，峰值吞吐量达到226 TPS/GPU。这一成绩相比上一代GB200平台提升了1.53倍，显示出新架构在处理复杂大模型任务时的显著进步。
显存与延迟
得益于288GB HBM3e大显存，显存不再是瓶颈，能同时服务更多请求。利用dynamic chunked PP技术，128K长文档的首token延迟（TTFT）仅8.6秒，极大优化了长文档场景下的交互体验。
计算加速
Blackwell Ultra架构带来的2x SFU softmax吞吐量，配合针对性的FMHA kernel优化，实现了1.35倍的计算加速。这种底层算力的提升，为高负载推理提供了坚实基础。
技术协同
性能提升的背后是多项技术的协同。通过PD分离、Wide-EP、chunked PP、MTP overlap调度以及FP8 attention的组合，并利用NVIDIA Dynamo进行统一编排，实现了系统级的最优化。
此次GB300与DeepSeek的结合验证了软硬件协同优化的巨大潜力。随着大模型应用场景的拓展，更高效的推理架构将成为关键，期待未来更多技术突破。
