张大妈

DeepSeek-R1推理智能从哪来?谷歌研究:模型内心多个角色吵翻了

源自今日头条:机器之心Pro

01-30 16:19

大模型推理能力的飞跃,根源何在?谷歌与芝加哥大学的最新研究提出,这并非简单计算量的堆砌,而是模型内部模拟了复杂的“思维社会”。通过多角色辩论和观点整合,模型高效探索解空间,为理解AI推理的本质提供了新视角。

DeepSeek-R1推理智能从哪来?谷歌研究:模型内心多个角色吵翻了智能速览

  • “思维社会”理论:AI 推理模型通过内部模拟多角色对话解决问题。

  • 推理模型在问答、视角切换等对话行为上频率显著高于传统模型。

  • 强化学习实验显示,仅奖励准确率就能激发模型的对话式行为。

  • 实验证实,增强对话特征可将特定任务准确率提升近一倍。

  • 面对高难度问题时,模型的“内心戏”特征会更加明显。

DeepSeek-R1推理智能从哪来?谷歌研究:模型内心多个角色吵翻了精华内容

推理能力的跃升,并非简单的计算堆砌。一项研究揭示了其“思维社会”的内在机制,展现了对话如何塑造智能。

思维社会的发现

近两年,以DeepSeek-R1为代表的推理模型在复杂任务上表现优异,其能力常被归因于更长的思考时间。然而,谷歌等机构的研究给出了更深层的解释:模型的强大源于一种隐式的“思维社会”结构。

简单来说,为了解决难题,模型会在其“数字大脑”中模拟一场辩论。不同角色相互争论、纠正、表达惊讶,最终调和观点得出正确答案。这种类多智能体的交互,是人类社会智能进化在AI上的体现,也是其拉开与传统模型差距的关键。

对话行为的证据

研究通过分析推理轨迹,量化了模型的对话行为。结果表明,DeepSeek-R1和QwQ-32B在提问—回答、视角切换、观点冲突等行为上频率远高于指令微调模型。

例如,DeepSeek-R1会产出“但这里是环己-1,3-二烯,而不是苯”或“不同意,我们应该避免添加新想法”等带有冲突和修正的表述。相比之下,DeepSeek-V3等模型则多为单向的独白式输出,缺乏自我辩论和反复修正的过程。这种对话模式在解决高难度问题时尤为显著。

对话如何提升能力

这些对话行为究竟如何提升推理准确率?研究通过特征干预实验给出了答案。研究者找到了一个与“惊讶、顿悟”相关的特征,并通过技术手段对其进行增强或抑制。

在Countdown数学游戏中,当增强该特征时,模型准确率从27.1%飙升至54.8%,几乎翻倍。当抑制该特征时,准确率则降至23.8%。这证明对话特征通过两条路径起作用:一是直接探索更广阔的解空间,二是为结果核验、路径回溯等认知策略提供脚手架支持。

自发涌现的对话

一个关键问题是:这种复杂的对话结构是否必须被精心设计?强化学习实验给出了否定的答案。

研究人员在仅以最终答案正确率为唯一奖励信号的情况下训练模型。结果发现,基础模型会自发地增加对话式行为。这表明,对话式的思维组织形式对于系统性求解具有内在价值,能够加速推理能力的涌现。这为利用“群体智慧”构建更强AI提供了新的研究方向。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章