张大妈

Google研究!DeepSeek是靠左右互搏变强的?

源自小红薯:轻舟AI

01-26 14:30

AI模型的强大推理能力背后是什么?Google最新研究揭示了DeepSeek-R1变强的秘密:模型内部会模拟多个不同背景的虚拟角色进行辩论与协作,形成“思想社会”。这种“社交规模化”机制,不仅解释了其性能提升的原因,也为未来AI的发展方向提供了全新的思考。

Google研究!DeepSeek是靠左右互搏变强的?智能速览

  • DeepSeek模型通过内部模拟多角色辩论来提升推理能力。

  • 模型内部存在代表“领悟或确认”的神经特征,能显著提升任务准确率。

  • 这种对话式结构是强化学习过程中自发演化出的产物。

  • 模型在推理时会模拟具有不同专业背景的多样性视角。

  • 仅在数学任务上训练的社交化推理能力,可迁移至其他领域。

  • AI高效推理的本质,是从独立思考演化为结构化的团队协作。

Google研究!DeepSeek是靠左右互搏变强的?精华内容

这种内部“社交化”的推理模式究竟是如何运作的?研究通过深入模型的神经激活层面,给出了具体的答案。

内部头脑风暴

研究发现,推理模型在生成思维链时,会表现出丰富的对话行为和社会情感角色,仿佛在开展一场“内部头脑风暴”。模型会互相请教、分享方案、解决问题,呈现出显著的社交化特征。任务越是复杂,这种模拟多智能体协作讨论的行为就越活跃,成为解决问题的关键策略。

惊讶的特征

通过稀疏自编码器技术,研究识别出DeepSeek-R1内部的一个关键神经特征(Feature 30939),它被定义为一种代表“惊讶、领悟或确认”的对话标记。实验证明,在复杂算术任务中,仅仅激活该特征,模型的最终准确率就能从27.1%翻倍至54.8%,显示了对话机制对推理准确性的巨大贡献。

多样性视角

模型并非单一视角思考。研究使用人格量表分析发现,DeepSeek在推理过程中,会模拟出具有不同特质和领域专家背景的多种视角。这些多样的虚拟角色共同参与讨论,从不同角度审视问题,从而形成更全面、更稳健的结论,提升了推理的深度和广度。

强化的产物

值得注意的是,这种高效的对话式推理结构并非预先设计,而是模型在强化学习(RL)过程中,为了追求更高准确率而自发演化出来的产物。如果直接使用多视角对话式数据进行微调,模型推理能力的提升速度和最终表现,都显著优于传统的训练方式。

能力迁移

这种在特定任务中习得的“社交化”推理能力具备跨领域迁移的特性。研究显示,仅在数学任务上接受过对话式引导训练的模型,在完全陌生的虚假信息检测任务中,也表现出了更快的学习速度。这表明“思想社会”是一种通用的、可泛化的问题解决框架。

这项研究不仅揭示了“社交规模化”是AI模型提升推理能力的关键路径,也预示着未来模型训练的新方向。通过模拟团队协作来增强智能,是否会成为下一代AI模型的标配?这无疑为人工智能的未来发展打开了一扇充满想象的大门。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章