什么值得买App下载 App ›
连续签到专享现金活动

英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user

英伟达于4月25日宣布,其NVIDIA Blackwell平台已完成对DeepSeek-V4-Pro与DeepSeek-V4-Flash两款AI模型的适配。开发者现可通过NVIDIA NIM微服务下载部署,或利用SGLang与vLLM框架进行定制化推理。此次适配旨在通过硬件与软件的深度优化,满足不同场景下对长文本处理与推理性能的需求。
配置项DeepSeek-V4-ProDeepSeek-V4-Flash
总参数量1.6T284B
激活参数49B13B
上下文窗口100万 Token100万 Token
最大输出长度38.4万 Token38.4万 Token
定位高级推理任务高速高效场景

DeepSeek-V4系列模型参数配置对比

01性能实测与技术优化
在实测性能方面,DeepSeek-V4-Pro在NVIDIA GB200 NVL72系统上实现了开箱即用的超150 tokens/sec/user的处理速度。针对Blackwell B300平台,借助vLLM提供的Day 0配方,开发者能够实现快速部署。此外,通过对Dynamo、NVFP4及CUDA内核的深度优化,预期整体性能将得到进一步提升。
02部署方式与生态支持

推理框架生态支持

NVIDIA NIM 微服务
  • 支持直接下载部署
  • 简化集成流程
SGLang 框架
  • 提供低延迟配方
  • 支持均衡及最大吞吐量模式
vLLM 框架
  • 支持多节点扩展至100个以上GPU
  • 具备工具调用与推测解码能力
DeepSeek-V4系列模型采用MIT开源协议,覆盖长文本编码与文档分析等核心应用。此次英伟达Blackwell平台的适配,结合了NIM微服务的便捷性、SGLang的灵活配方以及vLLM的高扩展能力,为开发者提供了多样化的部署选择。

评论

评论区空态插画

当前文章无评论,是时候发表评论了