传统强化学习依赖奖励，但生物体却能通过无目的的探索学习。一项最新研究发现，大语言模型（LLM）也具备这种“潜伏学习”能力。让AI先进行无奖励的自由探索，再引入强化学习，能显著提升其推理性能上限。这为理解顶尖AI模型的成功提供了全新视角，也为未来训练更强大的AI开辟了新路径。
智能速览
LLM存在类似生物的“潜伏学习”能力。
无奖励探索能构建更稳健的内部知识结构。
先探索后奖励的训练范式性能超越传统强化学习。
该机制在Llama、Qwen等主流模型上得到验证。
此发现为开发更少依赖奖励数据的AI系统提供了新思路。
精华内容
为何给AI一些“自由摸索”的时间，反而能让它变得更聪明？这背后的心理学原理和训练机制，正是揭开顶尖模型超强推理能力的关键。
潜伏学习的启示
在人工智能领域，强化学习被视为提升模型推理的关键，但其依赖外部奖励的模式与生物学习存在差异。心理学家托尔曼提出的“潜伏学习”理论表明，生物（如大鼠）在无奖励环境中自由探索时，也能形成对环境结构的认知。当奖励出现时，这些生物能更快掌握任务。本研究首次将这一经典心理学现象系统地应用于大语言模型，探讨其在AI中的存在与价值。
两阶段训练法
研究团队设计了一个新颖的两阶段实验。第一阶段，让LLM在没有奖励信号的环境中进行“无奖励探索”。此阶段的目标是让模型自主整合任务相关的背景知识，避免因追求奖励而产生的短视行为。结果发现，经过探索的模型初始表现提升虽慢，但内部知识结构得到强化。进入第二阶段，即引入传统强化学习后，这些模型的适应速度和最终性能上限均大幅超过了直接进行强化学习的基准模型。
普遍优越性验证
为了证明该训练机制的普适性，研究团队在Llama、Qwen等多个主流模型家族上进行了测试。任务范围也涵盖了逻辑推理、数学证明等多个领域。结果一致表明，“先探索、后奖励”的策略在不同模型和任务上都展现出优越性，证明了这种方法并非偶然，而是一种具有广泛适用性的训练范式。
构建稳健特征空间
理论分析进一步揭示了无奖励探索的深层作用。这一过程实际上是帮助模型构建一个更加稳健的特征空间。由于不受特定奖励信号的引导，模型能够学习到更本质、更泛化的知识模式，从而减少了对特定正向反馈的过度拟合。这使得模型在面对新任务时，展现出更强的泛化能力和解决问题的潜力。
这项研究不仅为理解o1等顶尖模型的成功提供了心理学注脚，更重要的是指明了一条更高效、更类人的AI训练道路。未来，让AI拥有更多自主探索的“留白”时间，或许是催生出真正通用智能的关键一步。
