当前大语言模型虽在众多领域表现优异,但其核心能力仍局限于预训练知识的调用。现实世界任务高度依赖上下文,要求模型能从全新信息中快速学习并应用。这篇内容深入解读了腾讯与复旦团队提出的“上下文学习”能力,并介绍了新基准CL-bench,揭示了现有顶尖模型在这一关键能力上的巨大短板,为AI发展指明了新方向。
智能速览
上下文学习是AI被忽视的关键能力,使其能从全新信息中学习解决问题。
新基准CL-bench包含500个复杂场景,旨在专门测试这项能力。
顶尖大模型在该基准上的平均得分仅17.2%,表现最好的GPT-5.1也只有23.7%。
模型失败主因是忽略或误用所提供的上下文,而非预训练知识不足。
未来AI发展应着重提升模型的上下文学习能力,而非单纯扩展知识库。
精华内容
当AI面对一本陌生的产品手册或一套全新的法律体系时,它能像人类一样快速学习并应用吗?这正是上下文学习能力要解决的核心问题,也是衡量AI能否从“知识库”进化为“推理智能体”的关键一步。
定义新能力
上下文学习指的是模型完全从任务提供的上下文中获取新知识,并利用这些预训练时未见过的信息来解决问题的能力。它不同于传统的In-Context Learning(ICL),后者更多是学习任务的格式和模式。上下文学习要求模型内化全新的规则、领域知识或流程,并进行推理应用,例如根据一个虚构国家的法律条文进行判案。
全新评测基准
为系统评估此能力,研究者推出了CL-bench基准。该基准由领域专家精心构建,包含500个复杂上下文、1899个任务和超过3万条验证细则。为确保测试的纯粹性,上下文中的知识均为虚构、改编或融合小众内容,彻底排除了数据污染。任务分为四大类:领域知识推理、规则系统应用、程序性任务执行和最具挑战性的经验发现与模拟。
模型表现不佳
评估结果显示,上下文学习对当前所有顶尖大模型都是巨大挑战。十个受测模型的平均任务解决率仅有17.2%,即使是表现最强的GPT-5.1,解决率也仅为23.7%。尤其在“经验发现与模拟”类别上,模型平均解决率暴跌至约11%,这表明从数据中进行归纳推理是当前模型面临的最根本难题。
主要失败原因
深入分析模型失败案例发现,最主要的原因是“上下文忽略”和“上下文误用”。模型倾向于依赖其预训练知识,而未能有效提取和应用上下文中的新信息。此外,即便是最强的模型,格式错误率也超过35%,反映出在精确遵循复杂指令方面仍存在明显短板,这进一步阻碍了其有效利用上下文。
未来发展方向
要提升上下文学习能力,论文指出了几个潜在方向。包括使用包含未知知识的上下文感知数据进行专门训练;设计从简单到复杂的课程学习路径;开发自动生成高质量评分细则的方法以提供更丰富的训练反馈;以及探索能更好存储和调用临时知识的新模型架构,让AI真正具备即时学习的能力。
CL-bench不仅是一个评测工具,更像一面镜子,照出了大模型通往通用智能道路上被忽视的关键瓶颈。它标志着AI评估正从考验“知道什么”转向考察“如何学习”。只有教会AI如何像人类一样,在动态变化的真实情境中快速学习和成长,才能释放其真正的潜力,成为更可靠的智能伙伴。