刚刚,DeepSeek V4 双版本正式上线!
DeepSeek V4 系列模型正式发布,推出 DeepSeek-V4-Pro 与 DeepSeek-V4-Flash 两个版本。新系列在 Agent 能力、世界知识和推理性能上实现提升,并在长上下文处理效率方面取得显著突破。
01核心参数概览
| 参数维度 | DeepSeek-V4-Pro | DeepSeek-V4-Flash |
|---|---|---|
| 总参数量 | 1.6T | 284B |
| 激活参数量 | 49B | 13B |
| 最大上下文 | 1M Tokens | 1M Tokens |
| 最大输出 | 384K Tokens | 384K Tokens |
| 预训练数据量 | 33T Tokens | 32T Tokens |
DeepSeek V4 系列双版本核心参数对比
02技术创新与架构优化
- 混合注意力架构
结合压缩稀疏注意力(CSA)和高度压缩注意力(HCA),降低计算复杂度,提升长上下文处理效率。 - 流形约束超连接(mHC)
增强传统残差连接,提高信号在层间传播的稳定性。 - Muon 优化器
设计用于加速收敛,显著提升训练过程中的模型性能与稳定性。 - 推理模式支持
同时支持非思考模式与思考模式,后者支持 reasoning_effort 参数设置思考强度(high/max),适用于复杂 Agent 场景。
03性能评估与效率提升
DeepSeek-V4-Pro-Max 在推理和知识任务上设定了新基准,超越此前开源模型水平。在效率方面,与前代 DeepSeek-V3 相比,DeepSeek-V4-Pro 的推理 FLOPs 降低了 73%,KV 缓存大小减少了 90%,使得处理百万级 Tokens 成为可能。
04国产算力生态适配
- 华为昇腾
确认采用华为最新芯片,昇腾 CANN 将进行 DeepSeek V4 在昇腾平台的首发直播。 - 寒武纪
已完成基于 vLLM 推理框架对 DeepSeek-V4-flash (285B) 和 DeepSeek-V4-pro (1.6T) 的 Day 0 适配,适配代码已开源。
当前文章无评论,是时候发表评论了