DeepSeek-V3.2 的性能提升背后，是一系列精细的强化学习优化。本文深入剖析其技术报告，揭示其如何围绕 GRPO 稳定性进行改进，通过五个关键技巧解决了 off-policy、MoE 训练等核心难题，为理解顶尖大模型的训练逻辑提供了宝贵视角。
智能速览
DeepSeek-V3.2采用专家蒸馏，先训练六个领域的专家模型再生成数据。
RL训练通过引入新的K3估计器，实现了无偏且低方差的KL正则化。
针对off-policy问题，提出对负优势样本应用掩码的策略。
为解决MoE模型训练难题，采用Keep Routing策略固定专家路径。
通过Keep Sampling Mask，确保训练与推理阶段的采样动作空间一致。
精华内容
DeepSeek-V3.2 的强化学习并无颠覆性算法创新，而是通过对 GRPO 的深度优化，系统性地解决了训练中的稳定性难题，实现了性能的显著提升。
专家蒸馏策略
DeepSeek-V3.2的训练始于专家蒸馏阶段。针对数学、代码等六个特定领域，分别训练了专门的专家模型，且均支持思考与非思考模式。
这些专家模型经过了大规模的强化学习训练，随后被用来生成各自领域的高质量数据。
通过这种方式训练出的综合模型，在各项能力上仅略低于单一领域的专家模型，且这一微小的性能差距能通过后续的混合RL训练得到有效弥补。
GRPO核心改进
在GRPO算法层面，DeepSeek-V3.2移除了计算优势时公式分母中的标准差项，以消除不同问题难度带来的偏差。
更为关键的是，引入了全新的K3估计器来计算KL散度，实现了无偏且低方差的KL正则化，从而更稳定地限制策略更新的幅度。
此外，研究还发现不同领域需要不同强度的KL惩罚，例如在数学领域减弱甚至移除KL惩罚效果更好。
应对Off-Policy
强化学习中，用旧策略生成的数据训练新策略会导致off-policy问题，影响训练效果。
DeepSeek-V3.2的解决方案是对具有负优势的样本进行掩码处理，当样本的off-policy程度过高时，直接将其优势值置为零，避免模型从已经过时的错误信息中学习。
这种方法确保模型只从仍然具有指导意义的错误中学习，提升了训练效率。
MoE训练稳定性
MoE（混合专家）模型在RL训练中面临独特挑战：每次参数更新后，同一输入激活的专家可能发生显著变化，导致训练不稳定。
为解决此问题，DeepSeek-V3.2采用了Keep Routing（路由回放）策略，在训练时强制使用推理时记录下的固定专家路径。
这种做法保证了训练与推理时激活专家的一致性，有效缓解了MoE模型在RL训练中的收敛难题。
确保训推一致
为了提升推理效率，模型在生成时通常会采用top-p或top-k采样，但这会引入训推不一致的问题，即训练模型和采样模型的动作空间不同。
DeepSeek-V3.2通过Keep Sampling Mask策略来解决，在推理时保存采样掩码（候选词集合），训练时应用相同的掩码。
这确保了训练和采样阶段面对完全相同的词表范围，从根本上保证了训推一致性。
DeepSeek-V3.2的强化学习改进展示了细节决定成败的工程智慧。通过系统性解决训练中的稳定性问题，模型能力得以显著提升。这些实践经验为未来大模型的高效、稳定训练提供了极具价值的参考，也让我们期待下一代模型能在此基础上走得更远。
