在强化学习训练中，一个看似矛盾的现象引发了深思：为何一个更稳定的训练策略，在部分高难度基准上性能反而不如一个会崩溃的策略？通过对参数稀疏性的深入分析，一个关于off-principal优化的猜想浮出水面，为理解RL训练的稳定性问题提供了全新的视角。
智能速览
朴素GRPO在长时任务上，训练后期稳定性会崩溃。
TIS策略能维持训练稳定性，但在高难度基准上表现不佳。
对比分析发现，稳定与不稳定训练的参数更新比例惊人地一致。
关键差异可能在于off-principal参数更新的选择与幅度。
从稀疏性角度分析，为理解RL稳定性提供了新思路。
精华内容
当强化学习训练遭遇稳定性难题，一个看似矛盾的实验结果，将我们的视线引向了参数更新的深层结构——稀疏性。这不仅是技术调试，更是对优化本质的追问。
训练崩溃之谜
在一个平均50-60轮的agentic任务上，朴素的GRPO训练虽然收敛速度更快，峰值指标更高，但在训练后期却会出现稳定性问题。具体表现为，训练与推理引擎的logprob相关性从初期的0.99x逐渐下降至0.98x，最终导致训练崩溃。而采用TIS策略后，这一相关性能稳定保持在0.99x附近，显著提升了训练稳定性。然而，TIS策略在一些hard-benchmark上的性能提升有限，甚至出现指标下滑，形成了一个性能与稳定性的两难局面。
参数更新的惊人发现
为了解开这个谜团，从稀疏性角度对训练前后的模型检查点进行了分析。一个符合预期的结论是，MoE模型的大部分参数变化来自expert-router模块，因为top-k选择机制对logits的微小扰动非常敏感。
但真正令人震惊的是，对比稳定（TIS）和不稳定（朴素GRPO）两组训练的检查点，发现参数元素变化的比例以及发生变化的参数集，两者几乎完全一致。这意味着，两种训练方式虽然结果迥异，但其更新的参数“数量”和“位置”是高度相似的。
off-principal优化的猜想
面对参数更新比例和位置几乎相同，但效果天差地别的现象，一个核心猜想被提出：关键差异在于off-principal参数的更新质量。off-principal参数指那些在优化路径上不处于核心位置的参数。
虽然TIS和朴素GRPO更新的参数总数相似，但TIS可能选择了“更好”的off-principal参数进行更新，或者说，在这些参数上赋予了不同的更新幅度。这种细微的差别，最终导致参数整体的谱范数和角度等高阶属性产生巨大变化，从而在稳定性和收敛指标上表现出截然不同的结果。
稀疏性的未来潜力
这一发现为提升RL算法的效果和稳定性开辟了新路径。通过结构设计、优化器或优化策略，可以更精细地调控off-principal参数的更新。例如，利用稀疏性，天然可以对更新比例更高的模块设置更小的学习率或更大的权重衰减。
对于MoE这类稀疏性更高的结构，这种策略尤其重要，因为微小扰动就可能导致其参数分布和梯度发生显著变化。未来，探索如Muon或SSO等新优化器对稀疏性的影响，以及如何结合结构约束，都将是值得研究的方向。
RL训练中的稳定性问题，或许并非简单的bug，而是模型优化本质的一种体现。从稀疏性视角出发，深入剖析off-principal参数的更新规律，不仅能解决眼前的训练难题，更有可能将advantage shaping、credit assignment等概念与底层优化联系起来，为构建更强大、更稳健的RL系统提供坚实的理论基础。
关键评论
也有研究者观察到训练与推理的相关性会呈现U型曲线。
KL约束可能通过对长尾概率的限制影响了参数更新。
期待对Advantage shaping与稀疏性关系的深入探究。
