这篇技术分享深入探讨了DeepSeek-V3.2在vLLM框架下的性能优化。通过实测数据，揭示了FP4量化、并行策略与MoE内核的配置技巧，提供了在H100等主流GPU上也能复现的高效部署方案，对提升大模型推理吞吐极具参考价值。
智能速览
FP4量化结合大KV Cache是提升吞吐的关键。
TP2并行策略在多数场景下优于TP4。
手动开启MoE内核可避免30%-50%的性能损失。
H100/A100双卡即可运行DeepSeek-V3.2的FP8版本。
Prefix Caching是多轮对话场景下的重要优化项。
精华内容
单纯堆砌硬件并非性能最优解，软件层面的精细调优往往能带来更显著的效果。以下是具体的优化思路与可复现配置。
量化策略
核心思路是利用FP4量化来节省显存，从而可以将KV Cache设置得更大。更大的KV Cache能够有效减少重复计算，直接提升服务吞吐量。实测数据显示，这一组合是提高并发处理能力的基础。需要注意的是，量化节省的显存需要有足够的计算任务来填充，否则无法完全转化为性能优势。
并行选择
在并行策略上，一个反直觉的结论是TP2（张量并行度为2）通常比TP4更快。这背后的原因是，只有当单卡的计算负载足够大时，才能充分利用Tensor Core的算力。在卡数有限或单卡负载不足的情况下，盲目追求更高的并行度反而会因通信开销拖累整体速度。因此，配置时应优先确保单卡的计算饱和度。
MoE与配置
对于DeepSeek这类MoE（混合专家）模型，优化有一个关键点：vLLM默认并未启用优化的MoE kernel。通过设置环境变量VLLM_USE_FLASHINFER_MOE=1可以手动开启，实测表明能带来30%至50%的性能提升。此外，开启Prefix Caching对于多轮对话场景至关重要，它能缓存对话前缀，极大降低重复计算的延迟。
硬件适用性
虽然测试在GB300上进行，但其优化思路对主流硬件同样有效。例如，使用两张H100 80G显卡，即可运行DeepSeek-R1的FP8版本。这意味着，即使没有最新的GB300，团队依然可以通过软件层面的调优，在现有硬件上实现接近的性能表现，显著降低了实践门槛。
这套优化方案证明了软件栈调优的巨大潜力，让昂贵的硬件资源得以最大化利用。随着大模型应用日益普及，这类可复现、低成本的优化实践，将成为推动技术普惠的关键。未来的优化方向会是什么？
