当前大语言模型虽能力强大,却存在一个根本缺陷:无法像人类一样实时从上下文中学习。腾讯姚顺雨团队发布的新基准CL-bench揭示了这一瓶颈,测试显示顶尖模型成功率极低,这为AI发展指出了一个被忽视的关键方向。
智能速览
腾讯姚顺雨团队发布首个成果CL-bench,专门评测大模型的上下文学习能力。
测试结果显示,当前顶尖大模型平均成功率仅17.2%,GPT-5.1(High)也只有23.7%。
模型失败主因是忽略或误用上下文信息,而非信息本身缺失。
CL-bench包含500个虚构或小众任务,采用“无污染”设计确保测试公正性。
从实验数据中归纳推理,比应用已知规则的演绎推理难度更高。
未来AI竞争焦点,可能从“训练数据”转向“为任务提供最优质上下文”。
精华内容
尽管大模型能力惊人,但腾讯混元团队的最新研究揭示了其与人类智能的根本差异:无法真正从上下文中学习。以下是这项研究的核心发现。
为何要测上下文学习
大模型主要依赖预训练阶段的“参数化知识”,即静态记忆,而人类则擅长在执行任务时从环境中实时学习。这导致模型擅长解决“已知”问题,但在依赖动态、复杂上下文的现实任务中表现不佳。CL-bench基准的诞生,正是为了弥合这一差距,迫使模型在解决每个任务时,都必须从上下文中学习并应用全新的知识。
测试结果有多差
研究人员在CL-bench上评估了十个主流大模型。结果令人震惊,模型平均任务解决率仅为17.2%。即便是表现最好的GPT-5.1(High),其成功率也仅停留在23.7%。这意味着,即使解决任务所需的信息全部明确地摆在上下文中,模型在绝大多数情况下依然会失败,有力地证明了当前SOTA模型几乎不具备真正的上下文学习能力。
失败主因是什么
分析发现,模型失败的首要原因并非信息缺失,而是“忽略或误用上下文”。在许多案例中,模型顽固地依赖其预训练阶段的静态知识,即便上下文明确提供了全新的规则或概念,模型也拒绝学习和使用。此外,研究表明,长上下文推理和指令遵循能力是必要的,但并非充分条件,上下文学习需要的能力远不止于此。
归纳推理的挑战
CL-bench的测试区分了演绎推理与归纳推理。结果显示,模型在“经验发现与模拟”这类需要归纳推理的任务上表现最差,成功率普遍低于10%。这表明,从给定的实验数据中自主发现规律或定律,远比根据明确规则进行演绎应用要困难得多。发现规律是比应用规则更高阶的智能挑战,也是当前大模型明显的短板。
腾讯这项研究不仅深刻揭示了当前大模型的能力边界,也为未来技术演进指明了方向。若上下文学习这一瓶颈被突破,人类在AI系统中的角色将从数据提供者转变为上下文提供者。这不禁让人思考,当AI学会自主从环境中记忆和学习时,世界将会怎样?
关键评论
针对上下文学习能力不足的发现,有用户质疑RAG技术的有效性,问“所以RAG都是在做梦吗?”
有技术爱好者从根本原因分析,认为“参数不改当然学不到东西”,提出在线学习、更新LoRA参数等技术思路。