英伟达加速版Qwen3.6,NVFP 4 性能实测
Red Hat AI团队推出了Qwen3.6-35B的NVFP4量化版本,该版本采用了权重和激活同时量化到4-bit浮点(W4A4)的技术方案。具体实现上,使用了E2M1格式并配合微块缩放技术,相比传统的INT4量化,FP4格式对极端值的处理更为精细,理论上能将精度损失降至最低。在GSM8K Platinum评测中,NVFP4量化版准确率达到96.28%,略高于原版BF16的95.62%,证明其量化质量比AWQ高一个级别。
01双4090部署实测数据
| 指标 | 数值 | 对比情况 |
|---|---|---|
| 显存占用 | 10.61 GB/卡 | 对比BF16版节省近一半 |
| 模型加载 | 24秒 | 总初始化约2分半 |
| 上下文支持 | 102K | KV Cache容量49万token |
| 并发能力 | 17倍 | 最大并发吞吐量提升 |
vLLM+Docker环境下的关键部署数据
02不同GPU架构下的性能表现差异
NVFP4在不同架构下的核心收益
Ada架构(如RTX 4090)
不支持原生FP4计算,核心收益主要在于显存节省。
- vLLM自动退回Marlin内核进行推理。
- 权重从FP4解压到高精度参与计算,失去激活量化加速。
- 推理速度提升主要源于模型体积缩小带来的内存带宽压力降低。
Blackwell架构(如B100/B200)
支持原生FP4计算,能够完全释放W4A4全量化加速潜力。
- 原生支持FP4计算指令。
- 真正实现权重与激活的同步量化加速。
- 在显存节省的基础上获得更大的推理性能提升。
实测对比显示,在双4090环境下,NVFP4版本相较于之前的AWQ-4bit版本在各方面均有提升。实测吞吐量更高,多轮对话体感更流畅,且部署稳定性更好。对于目前持有双4090的用户,NVFP4量化版值得替换,能够在不损失精度的情况下大幅节省显存资源。
当前文章无评论,是时候发表评论了