腾讯首席AI科学家姚顺雨发布入职后首项研究成果,指出大语言模型虽是顶级“做题家”,但极度缺乏从上下文中实时学习的能力。团队构建了全新基准CL-bench,揭示了当前模型在处理动态复杂任务时的巨大短板。
智能速览
腾讯混元团队联合复旦大学发布Context学习新研究
现有大模型依赖预训练知识,难以像人类一样实时学习
团队构建CL-bench基准,涵盖四大现实场景进行无污染评测
十大顶尖模型平均仅解决17.2%任务,GPT-5.1仅达23.7%
精华内容
现有的模型优化方向造出了依赖“过去”的参数推理者,但真实世界迫切需要能吸收“当下”环境的Context学习者。
核心痛点分析
人类在工作中通过扫文档、看规则书实时获取新信息并解决问题,这是一种强大的Context学习能力。然而,当前大语言模型主要依赖预训练阶段压缩进权重的静态记忆。虽然它们在奥数或资格考试中表现优异,但这掩盖了它们无法从复杂、动态的Context中汲取新知识并应用的事实。这导致模型擅长对“已知”事物推理,却难以解决依赖新信息的真实任务。
CL-bench评测基准
为了量化这一差距,姚顺雨团队构建了包含500个复杂Context和1899个任务的CL-bench基准。该基准涵盖领域知识推理、规则系统应用、程序性任务执行及经验发现四大场景。为防止模型依赖记忆,数据采用完全虚构或高度修改的“无污染”设计。平均每个Context由专家耗时20小时打造,包含63.2个验证标准,确保了评测的高难度与严谨性。
测评结果惊人
测试结果显示,十大顶尖模型在CL-bench上的表现远低于预期,平均仅解决了17.2%的任务。表现最好的GPT-5.1 (High)也仅达到23.7%的解决率。在无Context提供的情况下,顶尖模型得分不足1%,证实了其无法靠“死知识”通关。这有力证明了当前SOTA模型几乎不具备真正的Context学习能力,与人类处理动态信息的能力存在巨大鸿沟。
这项研究不仅揭示了AI发展的盲区,也为未来模型优化指明了方向。当模型能像人类一样灵活处理动态Context时,AI才能真正胜任复杂工作。未来的AI会打破这一瓶颈吗?