深入解析DeepSeek R1的后训练流程，探讨如何通过强化学习提升大模型推理能力，揭示RL训练中的关键技术细节和创新点。
智能速览
DS-V3直接应用RL得到DeepSeek-R1-Zero
Reward设计关注答案准确和格式正确两方面
异步处理reward时间和推理时间重叠
Zero模型推理能力随输出长度显著提升
训练中会出现aha-moment改变推理方法
精华内容
探索大模型推理能力的提升路径，DeepSeek R1通过创新的RL训练方法，展现了模型自主学习的潜力。
RL训练架构
在基模的后训练场景中，SFT体现的是人类规定的表达方式，可能限制模型自由的推理过程。而RL恰好给予模型自由探索的空间，有助于逻辑推演。基于这个假设，DeepSeek团队在DS-V3-basemodel上直接应用RL（GRPO）得到DeepSeek-R1-Zero。
训练过程中使用了CoT样式的提示词，让模型按照特定的思考格式展开推理。RL rollout过程调用vllm进行并行推理，充分利用了基础设施的优化。
Reward设计机制
Reward设计关注答案准确和格式正确两个维度，且两者权重相同：Reward_rule = Reward_accuracy + Reward_format。
避免使用神经网络模型作为reward的原因有：容易陷入reward hacking，以及减少计算开销和工程复杂性。答案正确可以通过函数判断，如数学题直接对比答案，代码补全用编译器运行。格式则用正则匹配打分。
关键优化在于：由于reward一般不占用GPU，将打分处理成异步操作，让reward时间和推理时间重叠，大幅提升训练效率。
推理能力演变
Zero模型的训练过程中展现出几个重要特征：随着输出长度变长，推理能力显著提升，这说明模型确实在进行更深层次的思考。
训练中途会出现aha-moment，模型突然改变推理方法，这种突破性变化标志着模型学习的重要进展。
但Zero模型也存在问题：可读性较差，出现多语言混杂现象。因此zero模型仅作为中间产物，其推理能力被用来生成SFT格式的推理数据，经过多轮筛选得到冷启动SFT数据，为下一阶段做准备。
DeepSeek R1的训练流程展现了RL在提升大模型推理能力方面的巨大潜力，通过巧妙的设计让模型自主探索推理路径。这种训练范式不仅提升了模型性能，更为大模型的进化方向提供了新的思路。
