英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user
英伟达于4月25日宣布,其NVIDIA Blackwell平台已完成对DeepSeek-V4-Pro与DeepSeek-V4-Flash两款AI模型的适配。开发者现可通过NVIDIA NIM微服务下载部署,或利用SGLang与vLLM框架进行定制化推理。此次适配旨在通过硬件与软件的深度优化,满足不同场景下对长文本处理与推理性能的需求。
| 配置项 | DeepSeek-V4-Pro | DeepSeek-V4-Flash |
|---|---|---|
| 总参数量 | 1.6T | 284B |
| 激活参数 | 49B | 13B |
| 上下文窗口 | 100万 Token | 100万 Token |
| 最大输出长度 | 38.4万 Token | 38.4万 Token |
| 定位 | 高级推理任务 | 高速高效场景 |
DeepSeek-V4系列模型参数配置对比
01性能实测与技术优化
在实测性能方面,DeepSeek-V4-Pro在NVIDIA GB200 NVL72系统上实现了开箱即用的超150 tokens/sec/user的处理速度。针对Blackwell B300平台,借助vLLM提供的Day 0配方,开发者能够实现快速部署。此外,通过对Dynamo、NVFP4及CUDA内核的深度优化,预期整体性能将得到进一步提升。
02部署方式与生态支持
推理框架生态支持
NVIDIA NIM 微服务
- 支持直接下载部署
- 简化集成流程
SGLang 框架
- 提供低延迟配方
- 支持均衡及最大吞吐量模式
vLLM 框架
- 支持多节点扩展至100个以上GPU
- 具备工具调用与推测解码能力
DeepSeek-V4系列模型采用MIT开源协议,覆盖长文本编码与文档分析等核心应用。此次英伟达Blackwell平台的适配,结合了NIM微服务的便捷性、SGLang的灵活配方以及vLLM的高扩展能力,为开发者提供了多样化的部署选择。
当前文章无评论,是时候发表评论了