张大妈

原来大模型不会读书!

源自小红薯:未来图灵

02-04 17:40

腾讯混元团队与复旦大学联合研究揭露了一个惊人事实:当前顶尖大语言模型的上下文学习能力存在严重缺陷。在专门设计的CL-bench基准测试中,十个主流模型的平均任务解决率低至17.2%。这项发现不仅挑战了我们对AI能力的普遍认知,也为大模型的未来发展指明了关键瓶颈。

原来大模型不会读书!智能速览

  • 腾讯混元与复旦联合研究发布CL-bench评测基准。

  • 十个前沿大模型在上下文学习任务中平均解决率仅17.2%。

  • 最强模型成功率也仅23.7%,严重依赖预训练记忆。

  • 模型失败主因是忽视关键信息、归纳推理弱和长上下文处理难。

  • 研究指出AI需从“参数推理者”转向“上下文学习者”。

原来大模型不会读书!精华内容

这项研究的核心价值在于,它用一个详实的基准测试,量化了行业普遍感知但未被充分证明的问题:大模型在实时学习上的能力短板。

严苛的CL-bench

为精确衡量模型的上下文学习能力,研究团队推出了名为CL-bench的全新评测基准。该基准并非简单的问答,而是包含了500个复杂上下文、1899个具体任务及31607条验证标准的综合性测试。其设计目的只有一个:评估模型能否从全新信息中学习并解决未知问题,而非依赖其预训练阶段记忆的旧知识。

惨淡的测试成绩

测试结果令人震惊。在十个参与评测的前沿模型中,平均任务解决率仅为17.2%。即便是表现最好的模型GPT-5.1(High),其成功率也只达到23.7%。作为对照,在不提供任何上下文的情况下,该模型的成功率不足1%,这组数据有力地证明,当前模型的核心能力依然建立在预训练的静态记忆上,而非真正的实时学习。

为何屡屡失败?

经过深入分析,团队归纳出模型失败的几大主因。首先是模型经常忽视或误用上下文中的关键信息,抓不住重点。其次,面对实验数据时,模型难以进行有效的归纳推理。此外,处理长篇上下文的能力不足也是一个普遍痛点。研究还发现,即便通过技术手段增加模型的推理强度,其学习效果的改善也并不稳定,无法从根本上解决问题。

推理者与学习者

研究团队提出了一个深刻洞察:当前的大语言模型本质上是“参数推理者”,它们通过海量参数进行模式匹配和信息提取。然而,现实世界的应用场景更需要的是“上下文学习者”,即能够根据即时提供的新信息动态调整自身行为的系统。如果模型无法实现从“推理”到“学习”的根本性转变,那么单纯增加上下文长度也难以弥补其核心能力的缺失。

未来的新方向

这项研究也对AI行业的未来发展趋势做出了预测。如果上下文学习能力能够取得根本性突破,人类在AI系统中的角色将发生巨变,从过去单向的“训练数据提供者”,转变为更具互动性的“上下文提供者”。届时,行业的竞争焦点也将从模型参数规模和预训练数据量的比拼,转向如何让AI更高效地从即时交互中学习和进化。

腾讯与复旦的这项研究,为狂热的大模型发展浪潮泼下一盆冷水,也敲响了警钟。它明确指出,真正的智能不仅在于知识的记忆与复现,更在于从新信息中实时学习和适应的能力。未来,谁能率先突破上下文学习的瓶颈,谁就可能引领下一代AI的变革。这或许正是通往通用人工智能的关键一步。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章