张大妈

姚顺雨:AI在上下文理解层面依然有大幅提升空间 #AI #姚顺雨 #大模型 #上下文理解 #腾讯

源自抖音:杨博士说AI

02-09 10:37

刚入职腾讯的姚顺宇联合复旦大学发布了首个上下文学习基准(CLB),测试了顶级大模型在复杂任务中的表现。结果显示,所有模型的准确率均未超过25%,揭示了AI在遵循指令和理解深层上下文方面的核心挑战,为行业指明了新的发力方向。

姚顺雨:AI在上下文理解层面依然有大幅提升空间 #AI #姚顺雨 #大模型 #上下文理解 #腾讯智能速览

  • 腾讯联合复旦发布Context Learning Benchmark,旨在测试AI的复杂上下文理解能力。

  • 新基准包含500个复杂上下文和1899个任务,全面考核四大核心能力。

  • 顶尖大模型GPT-5.1最高准确率仅为23.7%,现有模型表现普遍不理想。

  • 模型失败主因是忽略上下文、难以跨步追踪依赖及难以精准遵循约束。

  • 归纳推理能力成为AI最大短板,比演绎推理表现平均差5个百分点以上。

  • 行业对于提升模型自身能力还是依赖外部工具存在争议。

姚顺雨:AI在上下文理解层面依然有大幅提升空间 #AI #姚顺雨 #大模型 #上下文理解 #腾讯精华内容

为何顶尖大模型在新基准中集体“翻车”?这背后揭示了AI能力发展的何种深层瓶颈?

新基准出炉

刚入职腾讯两个月的研究员姚顺宇,主导发布了腾讯混元团队与复旦大学联合研发的Context Learning Benchmark。这一基准并非简单测试,而是构建了一个包含500个复杂上下文、1899个任务和31607个验证标准的庞大测试集,旨在系统性地评估AI在真实复杂场景下的理解与执行能力,为行业提供了统一的衡量标尺。

惨淡的成绩单

测试结果令人深思,所有参与评测的头部大模型表现均差强人意。表现最佳的GPT-5.1 High(推理模式调至最高),其整体准确率也仅有23.7%。其他知名模型如Claude Opus、Gemini 3 Pro以及腾讯自家的Hunyuan 2.0 Think,排名也相对靠后。这表明,在最顶尖的模型中,上下文理解能力仍存在巨大提升空间,远未达到实用水平。

为何会失败

研究团队深入分析了模型失败的原因,主要归结为四点:忽略或误用上下文中的关键信息、难以准确遵循指令和约束、无法跨上下文追踪复杂的依赖关系。特别是在需要从原始数据中发现规律的“经验发现与模拟”任务中,模型的表现尤为糟糕,其归纳推理能力比演绎推理能力平均低了超过5个百分点。

未来的路径

该基准的发现也引出了一个核心争议:提升AI能力,是该深耕模型自身的“内功”,还是借助外部工具的“外力”?目前存在两种不同路径。一种以Meta为代表,通过文件系统、检查清单等外部工具来管理任务流程。另一种则以Anthropic的MCP(Model Context Protocol)为代表,将模型与外部生态工具深度集成。如何选择,已成为行业需要思考的关键问题。

CL基准为AI发展敲响了警钟,证明了纯粹提升参数已非最优解。未来,是强化模型内在的上下文遵循能力,还是构建更强大的工具联盟,将决定AI能否真正跨越从“能聊”到“能干”的鸿沟。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章