一本书读懂 DeepSeek 全家桶核心技术

2025年年初，DeepSeek 成为全球人工智能（AI）领域的焦点，其DeepSeek-V3 和DeepSeek-R1 版本在行业内引发了结构性震动。

DeepSeek-V3 是一个拥有 6710 亿个参数的混合专家模型（MoE），每个token（模型处理文本的基本单位）激活 370 亿个参数。该模型在 14.8 万亿个高质量 token上进行预训练，采用 MLA 和 MoE 架构。DeepSeek-V3 的发布几乎没有预热和炒作，仅凭借其出色的效果和超低的成本迅速走红。

DeepSeek-R1 则是在 DeepSeek-V3 的基础上构建的推理模型，它在后训练阶段大规模使用强化学习技术，仅凭极少标注数据便大幅提升了模型的推理能力。在数学、代码、自然语言推理等任务上，DeepSeek-R1 的效果已可比肩 OpenAI-o1 正式版。

DeepSeek-V3技术突破

DeepSeek-V3 的模型架构整体上基于 Transformer 的 MoE 架构，并在细节实现上做了大量的创新和优化，如大量小专家模型、多头潜在注意力、无辅助损失的负载平衡、多 token预测技术（MTP）等，大幅提升了模型的性能。

在模型训练方面，DeepSeek 依托自研的轻量级分布式训练框架 HAI-LLM，通过算法、框架和硬件的紧密配合，突破了跨节点 MoE 训练中的通信瓶颈，实现了高效稳定的训练。DeepSeek-V3 是业界率先使用 FP8 进行混合精度训练的开源模型。

在推理部署方面，DeepSeek-V3 采用预填充（Prefilling）和解码（Decoding）分离的策略，以及冗余专家策略，在提高推理速度的同时确保了系统的稳定性和可靠性。

DeepSeek-R1技术突破

01.纯强化学习训练

DeepSeek-R1-Zero 的核心创新之一是采用纯强化学习（Reinforcement Learning，RL）进行训练。这一方法颠覆了传统的依赖有监督微调（Supervised Fine-Tuning，SFT）和人类反馈强化学习（Reinforcement Learning from Human Feedback，RLHF）的训练模式，首次验证了无须任何 SFT 数据，仅通过强化学习即可实现推理能力的自主进化。

02.GRPO 算法

GRPO 算法是 DeepSeek-R1-Zero 使用的另一个重要的创新算法。与传统的强化学习算法（如 PPO、DPO）不同，GRPO 算法通过组内奖励对比直接优化策略网络。具体而言，GRPO 算法将同一问题生成的 N 条候选答案划为一组，以组内平均奖励为基线，计算相对优势值。这种方法不需要额外训练价值模型，降低了训练复杂度，提高了训练效率。

03.奖励模型的创新

在强化学习的训练过程中，DeepSeek 研究团队选择面向结果的奖励模型，而不是通常的面向过程的奖励模型。这种方式可以较好地避免奖励欺骗，同时，由于不需要大量标注数据，可以降低训练复杂度。