什么值得买App下载 App ›
连续签到专享现金活动

强烈推荐大家看下姚顺雨在腾讯的首篇论文

当前顶尖的大语言模型虽然擅长解题,但在真实世界中面临新任务时,学习应用新知识的能力却严重不足。腾讯混元团队联合复旦大学的新研究,通过构建全新评测基准 CL-bench,首次量化了这一能力短板,揭示了强化模型“从上下文中学习”是未来发展的关键方向。

强烈推荐大家看下姚顺雨在腾讯的首篇论文智能速览

  • 即使是顶尖大模型,也普遍不擅长从上下文中实时学习新知识。

  • 研究团队构建了 CL-bench 基准,专门评测模型的上下文学习能力。

  • 世界前十的模型在 CL-bench 上的平均任务解决率仅为 17.2%。

  • 提升上下文学习能力将是下一代模型的重要迭代方向。

  • 未来竞争焦点或从训练模型转向为任务提供高质量上下文。

强烈推荐大家看下姚顺雨在腾讯的首篇论文精华内容

大模型在复杂任务上的短板究竟在哪里?为何它们拥有海量知识却无法像人一样“即学即用”?这项研究通过一个全新的评测基准,给出了量化的答案和深刻的启示。

模型的困境

过去几年,大语言模型进化神速,成为顶级的“做题家”,能解奥数、写代码、通过专业资格考试。然而,在面对真实世界的任务时,模型的表现却常常不尽如人意。人类开发者能边看新文档边调试代码,玩家能边读规则书边玩新游戏,这种实时从眼前上下文中学习的能力,正是当前模型所欠缺的关键一环。

抹平了上下文带来的信息差后,模型依然无法有效解决问题,这暴露出其在利用上下文方面存在显著的能力短板。

评测的标尺

为了精准衡量模型与“上下文学习者”的距离,研究团队构建了一个名为 CL-bench 的全新评测基准。该基准并非简单的问答,而是要求模型必须从给定的复杂上下文中,学习到其预训练数据中不存在的新知识,并正确应用来解决后续任务。

CL-bench 包含了由资深领域专家制作的 500 个复杂上下文、1899 个任务和多达 31607 个验证标准,为模型的上下文学习能力提供了一个严苛而全面的衡量标尺。

惊人的数据

评测结果出人意料地揭示了当前大模型的普遍弱点。在 CL-bench 的测试中,世界上排名前十的语言模型,其任务解决率平均值仅为 17.2%。

这个数据说明,即便是如今我们公认的“最强”模型,在从上下文中学习这方面也做得非常不好,甚至可以说基本还不会。这并非“不精”的问题,而是“不能”的本质性缺陷。

未来的变革

这一发现为大语言模型的后续迭代指明了清晰的方向:强化模型从上下文进行学习的能力。如果这一能力能像模型的其他能力一样被有效提升,人类在整个 AI 系统中的角色将发生根本性转变。

我们将不再是主要的数据提供者,而转变为“上下文提供者”。未来,竞争的核心焦点也可能从“谁能把模型训练得更好”,转变为“谁能为特定任务提供最丰富、最相关的上下文”。

这项研究不仅为大模型的演进指明了新的技术路径,也预示着人机交互模式的潜在变革。当模型真正学会从上下文中学习,我们将如何定义和创造“上下文”本身,这或许将成为下一个时代的关键问题。

评论

评论区空态插画

当前文章无评论,是时候发表评论了