什么值得买App下载 App ›
连续签到专享现金活动

英伟达加速版Qwen3.6,NVFP 4 性能实测

Red Hat AI团队推出了Qwen3.6-35B的NVFP4量化版本,该版本采用了权重和激活同时量化到4-bit浮点(W4A4)的技术方案。具体实现上,使用了E2M1格式并配合微块缩放技术,相比传统的INT4量化,FP4格式对极端值的处理更为精细,理论上能将精度损失降至最低。在GSM8K Platinum评测中,NVFP4量化版准确率达到96.28%,略高于原版BF16的95.62%,证明其量化质量比AWQ高一个级别。
01双4090部署实测数据
指标数值对比情况
显存占用10.61 GB/卡对比BF16版节省近一半
模型加载24秒总初始化约2分半
上下文支持102KKV Cache容量49万token
并发能力17倍最大并发吞吐量提升

vLLM+Docker环境下的关键部署数据

02不同GPU架构下的性能表现差异

NVFP4在不同架构下的核心收益

Ada架构(如RTX 4090)

不支持原生FP4计算,核心收益主要在于显存节省。

  • vLLM自动退回Marlin内核进行推理。
  • 权重从FP4解压到高精度参与计算,失去激活量化加速。
  • 推理速度提升主要源于模型体积缩小带来的内存带宽压力降低。
Blackwell架构(如B100/B200)

支持原生FP4计算,能够完全释放W4A4全量化加速潜力。

  • 原生支持FP4计算指令。
  • 真正实现权重与激活的同步量化加速。
  • 在显存节省的基础上获得更大的推理性能提升。
实测对比显示,在双4090环境下,NVFP4版本相较于之前的AWQ-4bit版本在各方面均有提升。实测吞吐量更高,多轮对话体感更流畅,且部署稳定性更好。对于目前持有双4090的用户,NVFP4量化版值得替换,能够在不损失精度的情况下大幅节省显存资源。

评论

评论区空态插画

当前文章无评论,是时候发表评论了