腾讯混元与复旦大学的最新研究,通过构建CL-bench评测基准,系统性揭示了当前大语言模型在“从上下文中学习”这一关键能力上的普遍短板。这项研究挑战了人们对模型智能的传统认知,指出即便信息完备,模型也难以有效利用,为理解AI的局限性及未来发展方向提供了全新视角。
智能速览
上下文学习是指模型从即时信息中实时学习的能力,而非依赖预训练知识。
主流大模型在上下文学习任务中的平均解决率仅为17.2%。
模型表现不佳主要源于忽略上下文或误用上下文两大原因。
研究显示,上下文越长,模型的表现反而越差。
未来AI竞争的焦点或将从模型本身转向如何提供高质量的上下文。
精华内容
这项研究不仅揭示了惊人的数据,更深入剖析了其背后的原因。当所有解题线索都摆在面前,大模型为何依然频繁出错?这背后指向了当前AI技术路径的一个核心痛点。
何为上下文学习
上下文学习,指的是模型能够像人类一样,从眼前给出的即时信息中进行学习和推理的能力。例如,程序员拿到新的SDK文档就能立刻上手编码,玩家翻看规则书就能边学边玩。这种能力不依赖于过往的死记硬背。
然而,当前的大语言模型主要依赖的是“预训练知识”,它们更像一个只会背诵标准答案的学生,一旦遇到新问题或变体,即便答案就写在题目里,也可能无法正确理解和运用。
扎心的实验数据
为了衡量这一能力,研究团队推出了CL-bench评测基准,并测试了10个主流大模型。结果令人震惊:所有模型在该任务上的平均解决率仅有17.2%。
即便是表现最强的模型GPT-5.1,其解决率也仅为23.7%。这个数据有力地证明了一个事实:即使将解决一个任务所需的全部信息都完整地提供给模型,它们绝大多数情况下依然无法正确完成任务。
失败两大元凶
论文深入分析了模型失败的原因,归结为两大核心问题。首先是“忽略上下文”,即模型根本没有关注到上下文中提供的关键信息,仿佛视而不见。
其次是“误用上下文”,模型虽然看到了信息,但却错误地理解了其含义或用途,导致推理方向出现偏差。更值得注意的是,研究发现上下文长度与模型表现呈负相关,信息越多,模型反而越容易出错。
未来的竞争焦点
这一发现揭示了AI发展的深层瓶颈。正如论文所言:“我们造出了依赖‘过去’的推理者,但世界需要的是能吸收‘当下’的学习者。”
这意味着,未来AI的竞争赛道可能会发生转移。重点不再是单纯地追求训练出参数规模更大、知识储备更多的模型,而是转向如何为特定任务提供最丰富、最相关、最易于理解的上下文信息,即“上下文工程”将成为新的核心竞争力。
这项研究让我们清醒地认识到,当前大模型距离真正的“实时学习”仍有鸿沟。它提醒我们,在追求模型规模的同时,更应关注其信息处理能力的本质。未来,我们该如何为AI构建一个更好的“当下”?