传统大模型推理能力提升依赖于监督微调或强化学习，但这些方法存在暴露偏差、成本高或奖励稀疏等问题。一种名为OPSD（On-Policy Self-Distillation）的新技术应运而生，它无需外部教师模型，通过巧妙的自我蒸馏机制，显著提升了模型的推理效果与训练效率，为LLM后训练提供了新思路。
智能速览
同一LLM同时扮演教师与学生角色，实现自监督学习。
训练过程完全依赖自身生成的数据，提升样本效率。
直接利用标准答案作为特权信息，指导模型学习。
通过Token级分布对齐，实现更精准的预测。
训练效率显著提升，且无需额外的奖励模型。
精华内容
如何让大模型在没有外部老师的情况下，自我提升推理能力？一种名为OPSD的自蒸馏技术，为此提供了全新思路，它让模型自己教自己，变得更加高效。
自蒸馏的巧思
OPSD方法的核心在于“Self-as-Teacher”，即让同一个语言模型同时扮演教师和学生的角色。这一设计巧妙地规避了传统蒸馏技术对更大、更强外部教师模型的依赖。模型仅通过上下文信息的差异来区分教师与学生身份：教师在包含标准答案的“有答案”上下文中生成内容，而学生则在不含答案的“没答案”上下文中进行推理。这种方式极大地简化了训练配置。
高效训练机制
该技术采用“on-policy”策略，意味着学生模型只从自身生成的轨迹中学习，确保了训练数据与实际应用场景的分布一致性，有效缓解了分布不匹配问题。教师模型则在每一个token位置都提供完整的概率分布监督，这种密集的信号替代了传统强化学习（如GRPO）中稀疏的序列级奖励。因此，OPSD仅需一条较短的生成轨迹即可获得稳定的梯度更新，显著提高了token利用效率。
利用标准答案
为了给学生模型提供高质量的指导，OPSD在教师模型的输入条件中显式地引入了ground-truth的解题过程或最终答案。这部分信息被视为“特权信息”。教师模型通过“理解并再推理”这些标准答案，生成高质量的响应序列，从而为学生模型的学习提供了精确的范本。这种机制让模型能够直接从正确结果中学习，加速了推理能力的收敛。
Token级精准对齐
在优化目标上，OPSD并未采用常见的序列级奖励或Kullback-Leibler散度，而是选择了全词表的Jensen-Shannon Divergence作为损失函数。这种token级别的分布对齐目标，可以对模型在每一步的预测都进行细粒度的校准和约束，迫使学生在每个决策点上都与教师的预测分布尽可能接近，从而实现更深层次的模型能力迁移。
简化训练流程
OPSD的另一大优势在于其简洁的训练流程。由于该方法完全依靠模型自身进行蒸馏，它不再需要额外训练昂贵的过程奖励模型（PRM）或复杂的奖励模型（RM）。这不仅大幅降低了计算成本和时间开销，也使得整个训练过程更加易于实现和复现，为研究者和开发者提供了一种更经济、高效的模型增强方案。
OPSD技术为大模型的高效训练开辟了一条新路径，它通过创新的自我蒸馏机制，在保证甚至提升推理效果的同时，显著降低了训练成本和复杂性。这种让模型自我进化的方式，是否会成为未来LLM后训练阶段的主流方向之一，值得持续关注。
