张大妈

腾讯首席AI科学家姚顺雨入职后首发研究成果

源自今日头条:IT之家

02-08 14:21

腾讯首席AI科学家姚顺雨发布入职后首项研究成果,指出大语言模型虽是顶级“做题家”,但极度缺乏从上下文中实时学习的能力。团队构建了全新基准CL-bench,揭示了当前模型在处理动态复杂任务时的巨大短板。

腾讯首席AI科学家姚顺雨入职后首发研究成果智能速览

  • 腾讯混元团队联合复旦大学发布Context学习新研究

  • 现有大模型依赖预训练知识,难以像人类一样实时学习

  • 团队构建CL-bench基准,涵盖四大现实场景进行无污染评测

  • 十大顶尖模型平均仅解决17.2%任务,GPT-5.1仅达23.7%

腾讯首席AI科学家姚顺雨入职后首发研究成果精华内容

现有的模型优化方向造出了依赖“过去”的参数推理者,但真实世界迫切需要能吸收“当下”环境的Context学习者。

核心痛点分析

人类在工作中通过扫文档、看规则书实时获取新信息并解决问题,这是一种强大的Context学习能力。然而,当前大语言模型主要依赖预训练阶段压缩进权重的静态记忆。虽然它们在奥数或资格考试中表现优异,但这掩盖了它们无法从复杂、动态的Context中汲取新知识并应用的事实。这导致模型擅长对“已知”事物推理,却难以解决依赖新信息的真实任务。

CL-bench评测基准

为了量化这一差距,姚顺雨团队构建了包含500个复杂Context和1899个任务的CL-bench基准。该基准涵盖领域知识推理、规则系统应用、程序性任务执行及经验发现四大场景。为防止模型依赖记忆,数据采用完全虚构或高度修改的“无污染”设计。平均每个Context由专家耗时20小时打造,包含63.2个验证标准,确保了评测的高难度与严谨性。

测评结果惊人

测试结果显示,十大顶尖模型在CL-bench上的表现远低于预期,平均仅解决了17.2%的任务。表现最好的GPT-5.1 (High)也仅达到23.7%的解决率。在无Context提供的情况下,顶尖模型得分不足1%,证实了其无法靠“死知识”通关。这有力证明了当前SOTA模型几乎不具备真正的Context学习能力,与人类处理动态信息的能力存在巨大鸿沟。

这项研究不仅揭示了AI发展的盲区,也为未来模型优化指明了方向。当模型能像人类一样灵活处理动态Context时,AI才能真正胜任复杂工作。未来的AI会打破这一瓶颈吗?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章