顶尖模型在考试中屡创佳绩，却在现实任务中频繁失败。一项新研究通过CL-bench基准测试揭示了症结所在：AI缺乏从上下文中实时学习新知识的能力，这正是连接当前模型与未来通用智能的关键桥梁。
智能速览
姚顺雨提出AI下半场核心在于评估而非单纯堆规模。
CL-bench基准测试专用于衡量模型从上下文中学习新知识的能力。
评测结果显示最强模型GPT-5.1 (High)任务解决率仅23.7%。
模型失败主因是忽略或误用上下文，过度依赖预训练知识。
归纳推理任务，如从数据中发现规律，是当前模型的短板。
精华内容
为何能解奥数的模型，却无法处理一份新工作说明书？CL-bench评测直指AI学习能力的核心短板。
评测的初衷
当前顶尖AI模型是优秀的“解题家”，能通过高难度专业考试，但这不等于能胜任真实工作。研究指出，人类能实时从上下文学习，如开发者查阅新文档或玩家学习新规则，而模型主要依赖预训练的静态“参数化知识”。
这种矛盾在于，我们创造了依赖过去的推理者，但世界需要吸收当下的学习者。因此，需要一种新方法来评估这种真实场景下的学习能力。
严苛的CL-bench
为量化这一差距，团队构建了CL-bench基准，包含500个复杂上下文和1899个任务。其核心原则是：模型必须从上下文中学习到预训练中不存在的新知识才能解决问题。
内容涵盖虚构法律体系、新编程语言、产品工作流等，并采用“无污染”设计，确保测试的是学习能力而非记忆。在不提供上下文时，GPT-5.1 (High)的解决率低于1%，证明了任务的难度和必要性。
集体翻车的结果
评测结果揭示了当前模型的严峻现实：十个前沿模型平均任务解决率仅17.2%，表现最好的GPT-5.1 (High)也仅23.7%。
错误分析显示，失败主因是模型忽略或误用上下文，固执地调用旧知识。尤其在需要从数据中归纳规律的“经验发现”类任务上，模型表现极差，解决率普遍低于10%，结果波动巨大。这表明仅靠增加推理强度无法根本解决问题。
AI下半场的方向
这项研究是姚顺雨“AI下半场”判断的具体实践：与其继续刷榜，不如先搞清楚模型的真实短板。研究证明，即便通过上下文工程准备好信息，模型若不能真正吸收学习，依然会失败。
团队明确了下一步目标：让上下文学习真正走向现实，这正是连接当前模型与未来可靠AI系统的关键一步。
CL-bench的出现为AI发展敲响了警钟，也指明了方向。当模型规模竞赛趋于平缓，如何让AI真正理解和运用新信息，将成为决定其能否走向更广阔应用的关键。未来的突破会来自哪里？
