华为:昇腾超节点系列产品全面支持DeepSeek V4
4月24日,DeepSeek-V4模型预览版正式上线并同步开源。华为官方随即宣布,通过芯模技术紧密协同,昇腾超节点全系列产品现已全面支持DeepSeek V4系列模型。此次适配涵盖了推理与训练场景,针对不同型号的硬件架构进行了专项性能优化。
01核心技术优化策略
- 昇腾950推理优化
通过融合kernel和多流并行技术,有效降低了Attention计算和访存开销,结合多种量化算法,实现了高吞吐、低时延的模型推理部署。 - 昇腾A3超节点适配
系列产品全面适配,并提供了基于昇腾A3超节点的训练参考实现,便于用户进行快速微调。
02模型性能基准测试
- DeepSeek V4-Pro(昇腾950)
在8K输入场景下,TPOT约20ms时,单卡Decode吞吐可达4700TPS。 - DeepSeek V4-Flash(昇腾950)
在8K长序列输入场景下,TPOT约10ms时,单卡Decode吞吐可达1600TPS。 - DeepSeek V4-Flash(昇腾A3 64卡)
结合大EP模式部署,在8K/1K输入输出场景下,基于vLLM推理引擎可实现2000+TPS的单卡Decode吞吐。
上述Benchmark数据均基于Offline推理模式采集,未包含Serving调度和框架负载均衡的影响。此外,针对DeepSeek V4-Pro模型,昇腾A3已同步支持推理部署,目前性能仍在持续优化中。
03DeepSeek V4 模型参数配置
| 参数项 | DeepSeek V4-Pro | DeepSeek V4-Flash |
|---|---|---|
| 总参数/激活参数 | 284B / 13B | 33T / 1.6T |
| 预训练数据 | 32T | 49B |
| 上下文长度 | 1M | 1M |
| 开源状态 | √ | √ |
| 功能特点 | 专家模式 | 快速模式、图片理解 |
DeepSeek V4 系列模型关键参数对比
当前文章无评论,是时候发表评论了