刚入职腾讯的姚顺宇联合复旦大学发布了首个上下文学习基准(CLB),测试了顶级大模型在复杂任务中的表现。结果显示,所有模型的准确率均未超过25%,揭示了AI在遵循指令和理解深层上下文方面的核心挑战,为行业指明了新的发力方向。
智能速览
腾讯联合复旦发布Context Learning Benchmark,旨在测试AI的复杂上下文理解能力。
新基准包含500个复杂上下文和1899个任务,全面考核四大核心能力。
顶尖大模型GPT-5.1最高准确率仅为23.7%,现有模型表现普遍不理想。
模型失败主因是忽略上下文、难以跨步追踪依赖及难以精准遵循约束。
归纳推理能力成为AI最大短板,比演绎推理表现平均差5个百分点以上。
行业对于提升模型自身能力还是依赖外部工具存在争议。
精华内容
为何顶尖大模型在新基准中集体“翻车”?这背后揭示了AI能力发展的何种深层瓶颈?
新基准出炉
刚入职腾讯两个月的研究员姚顺宇,主导发布了腾讯混元团队与复旦大学联合研发的Context Learning Benchmark。这一基准并非简单测试,而是构建了一个包含500个复杂上下文、1899个任务和31607个验证标准的庞大测试集,旨在系统性地评估AI在真实复杂场景下的理解与执行能力,为行业提供了统一的衡量标尺。
惨淡的成绩单
测试结果令人深思,所有参与评测的头部大模型表现均差强人意。表现最佳的GPT-5.1 High(推理模式调至最高),其整体准确率也仅有23.7%。其他知名模型如Claude Opus、Gemini 3 Pro以及腾讯自家的Hunyuan 2.0 Think,排名也相对靠后。这表明,在最顶尖的模型中,上下文理解能力仍存在巨大提升空间,远未达到实用水平。
为何会失败
研究团队深入分析了模型失败的原因,主要归结为四点:忽略或误用上下文中的关键信息、难以准确遵循指令和约束、无法跨上下文追踪复杂的依赖关系。特别是在需要从原始数据中发现规律的“经验发现与模拟”任务中,模型的表现尤为糟糕,其归纳推理能力比演绎推理能力平均低了超过5个百分点。
未来的路径
该基准的发现也引出了一个核心争议:提升AI能力,是该深耕模型自身的“内功”,还是借助外部工具的“外力”?目前存在两种不同路径。一种以Meta为代表,通过文件系统、检查清单等外部工具来管理任务流程。另一种则以Anthropic的MCP(Model Context Protocol)为代表,将模型与外部生态工具深度集成。如何选择,已成为行业需要思考的关键问题。
CL基准为AI发展敲响了警钟,证明了纯粹提升参数已非最优解。未来,是强化模型内在的上下文遵循能力,还是构建更强大的工具联盟,将决定AI能否真正跨越从“能聊”到“能干”的鸿沟。