当前大模型训练常陷入“会答不会推理”的困境。人大高瓴团队的一项研究，通过拆解强化学习中的正负样本机制，揭示了影响模型推理能力的关键因素，并提出了更精准高效的训练方法A3PO，为提升模型逻辑能力提供了新思路。
智能速览
正样本训练让模型更确定，但会抑制探索新路径。
负样本训练促进探索，但过程可能不稳定。
训练效果取决于两类关键Token：冷门但正确的、自信但错误的。
A3PO方法对关键Token进行非对称加权，实现精准塑造。
该方法在多个数学推理基准上实现了稳定性能提升。
精华内容
大模型推理训练的困境，或许并非源于模型规模，而是训练机制本身。一项研究通过拆解正负样本的作用，揭示了决定推理成败的关键在于极少数的决策点。
正负样本的作用
研究通过实验对比了仅用正样本（PSR）和仅用负样本（NSR）训练的效果。结果表明，正样本训练会使模型熵迅速下降，输出变短，倾向于直接给出答案而非完整推理，这被称为策略空间的“收缩”。相反，负样本训练则使模型保持在较高熵水平，输出变长，推理步骤增多，表现出更强的探索倾向，即策略空间的“扩张”。
然而，两种极端方式都存在缺陷：只用正样本容易出现Reward Hacking，而只用负样本则训练不稳定。只有将正负样本结合，才能在收敛速度与探索能力间取得平衡。
关键Token的发现
研究进一步深入到Token级别，发现并非所有Token都同等重要。真正决定训练走向的是两类关键Token：一类是正样本中那些概率较低但通向正确答案的“冷门正确Token”，另一类是负样本中模型高概率生成但内容错误的“自信错误Token”。
前者需要重点奖励，以保护和保留多样的正确推理路径；后者则需要重点惩罚，以纠正模型的顽固性错误。整个训练的效率和质量，很大程度上取决于如何对待这两类关键决策点。
A3PO方法构建
基于上述发现，研究团队提出了A3PO（Adaptive Asymmetric Advantage Shaping）方法。其核心是一种非对称的Token级加权机制。具体而言，A3PO会自动识别出前述两类关键Token，对正样本中的“冷门正确Token”给予更高的奖励权重，对负样本中的“自信错误Token”施以更强的惩罚权重。
这种加权并非一成不变，而是在训练过程中逐步衰减，使模型能从前期的广泛探索，自然过渡到后期的稳定收敛，从而实现更精细化的策略塑造。
性能提升验证
为了验证A3PO的有效性，研究团队在多个模型和数据集上进行了测试。在Qwen2.5-7B-Math模型上，A3PO在AIME24和AIME25基准上的准确率从DAPO的27.6%和21.4%提升至31.5%和24.8%。
在Qwen3-8B-Base和DeepSeek-R1蒸馏模型上，以及MATH500、GPQA等其他推理基准测试中，A3PO同样带来了稳定且明确的性能提升。多项结果通过了显著性检验，证明该方法具有较好的泛化能力。
这项研究的价值，在于将大模型推理训练从“经验调参”推向了“机制设计”。它揭示了训练的内在动力学，使得模型优化过程更加可控与可解释。未来，对关键决策点的精准塑造，是否会成为突破AI推理瓶颈的主流方向？
