什么值得买App下载 App ›
连续签到专享现金活动

华为:昇腾超节点系列产品全面支持DeepSeek V4

4月24日,DeepSeek-V4模型预览版正式上线并同步开源。华为官方随即宣布,通过芯模技术紧密协同,昇腾超节点全系列产品现已全面支持DeepSeek V4系列模型。此次适配涵盖了推理与训练场景,针对不同型号的硬件架构进行了专项性能优化。
01核心技术优化策略
  1. 昇腾950推理优化
    通过融合kernel和多流并行技术,有效降低了Attention计算和访存开销,结合多种量化算法,实现了高吞吐、低时延的模型推理部署。
  2. 昇腾A3超节点适配
    系列产品全面适配,并提供了基于昇腾A3超节点的训练参考实现,便于用户进行快速微调。
02模型性能基准测试
  • DeepSeek V4-Pro(昇腾950)
    在8K输入场景下,TPOT约20ms时,单卡Decode吞吐可达4700TPS。
  • DeepSeek V4-Flash(昇腾950)
    在8K长序列输入场景下,TPOT约10ms时,单卡Decode吞吐可达1600TPS。
  • DeepSeek V4-Flash(昇腾A3 64卡)
    结合大EP模式部署,在8K/1K输入输出场景下,基于vLLM推理引擎可实现2000+TPS的单卡Decode吞吐。
上述Benchmark数据均基于Offline推理模式采集,未包含Serving调度和框架负载均衡的影响。此外,针对DeepSeek V4-Pro模型,昇腾A3已同步支持推理部署,目前性能仍在持续优化中。
03DeepSeek V4 模型参数配置
参数项DeepSeek V4-ProDeepSeek V4-Flash
总参数/激活参数284B / 13B33T / 1.6T
预训练数据32T49B
上下文长度1M1M
开源状态√√
功能特点专家模式快速模式、图片理解

DeepSeek V4 系列模型关键参数对比

评论

评论区空态插画

当前文章无评论,是时候发表评论了