张大妈

姚顺雨:AI在上下文理解层面依然有大幅提升空间

源自UP主:杨博士说AI

02-09 10:38

腾讯混元团队与复旦大学联合发布Context Learning Benchmark(CL-Bench),旨在评测AI在复杂上下文中的理解能力。测试显示,即便是顶尖大模型准确率也不足25%,揭示了AI在深层认知与指令遵循上的显著短板。

姚顺雨:AI在上下文理解层面依然有大幅提升空间智能速览

  • 腾讯联合复旦发布CL-Bench评测基准,涵盖四项核心能力

  • GPT-5.1在封闭测试中整体准确率仅为23.7%

  • 归纳推理难度远超演绎推理,模型表现至少差5个百分点

  • 模型失败多因忽略上下文及难以精准遵循约束

  • 业界对于是否需持续提升单模型上下文能力存争议

姚顺雨:AI在上下文理解层面依然有大幅提升空间精华内容

评测比训练更重要,新基准揭示了当前AI在深层认知上的巨大差距。

新基准四维考核

CL-Bench包含500个复杂上下文、1899个任务和31607个验证标准,重点考核AI的四项能力。

一是特定知识领域的推理,二是规则系统的理解与遵循,三是基于流程的任务执行,四是最复杂的经验发现与模拟。这四项测试要求AI必须从给定的上下文中精准提取信息,以回答最终问题。

头部模型表现惨淡

在所有受测的最头部大模型中,表现均不尽如人意。

目前表现最好的GPT-5.1(High模式),其整体准确率也仅为23.7%。其他知名模型如Claude Opus 4.5、Gemini 3 Pro等排名较为落后。值得注意的是,腾讯混元2.0 Thinking模型的表现优于Gemini 3 Pro。

归纳推理成最大难点

研究发现,基于数据寻找规律的归纳推理远比演绎推理更难。

在解决科学家式的问题时,模型表现普遍较差,准确率比演绎推理至少低5个百分点。模型失败的主要原因包括忽略或误用上下文、指令遵循存在问题,以及难以跨上下文追踪依赖关系。

工具派与模型派之争

行业对于上下文学习的必要性存在分歧。CL-Bench测试的是封闭式系统的纯推理能力,结果显示其上限较低。

然而,以Meta和Anthropic为代表的厂商更倾向于利用外部工具、文件系统和MCP协议来弥补推理短板。是否还需要深挖单模型的上下文理解性能,目前仍是业界的争议焦点。

CL-Bench的发布为业界提供了一个冷静的视角,尽管模型参数日益庞大,但在面对复杂的上下文理解任务时依然显得稚嫩。未来究竟是继续深挖单模型的推理深度,还是转向依赖外部工具的智能体架构,这仍是一个值得深思的开放性命题。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章