当前位置:
文章详情

最强AIGPT-5.5和Claude被一道人类轻松满分的测试打回原形

2026-05-02 18:46:23 0点赞 0收藏 0评论

最强AI连1%都考不到:GPT-5.5和Claude被一道人类轻松满分的测试打回原形

0.43% vs 100%,这道题撕开了大模型推理能力的底裤

深度解读

GPT-5.5是OpenAI最强模型,Claude Opus 4.7是Anthropic旗舰。它们在各类榜单上疯狂刷分,SWE-bench、MMLU、HumanEval……成绩一个比一个吓人。

但有一道测试,它们加起来都拿不到1%。而人类,第一次接触就能满分。

❶数据说话:0.43% vs 0.18% vs 100%

据ARC Prize Foundation 5月1日发布的官方分析(据ARC Prize官网):

受试者

ARC-AGI-3得分

说明

GPT-5.5

0.43%

OpenAI当前最强

Claude Opus 4.7

0.18%

Anthropic当前旗舰

人类

可100%解决

无需特殊训练

0.43%是什么概念?135道题,GPT-5.5只答对了不到1道。而人类,哪怕第一次见这种题,都能全部搞定。

最强AIGPT-5.5和Claude被一道人类轻松满分的测试打回原形


ARC-AGI-3得分对比柱状图(GPT-5.5 0.43% / Opus 4.7 0.18% / 人类 100%) 

关于ARC-AGI-3(据ARC Prize Foundation)

设计者:François Chollet(Keras创始人)

题目数量:135个全新手制环境

核心设计:刻意排除文化知识依赖,只测纯粹的抽象推理能力

累计测试:超过100万场游戏已被运行

❷这到底考的是什么?

ARC-AGI-3不是考你背了多少知识,而是考你遇到完全陌生的环境能不能自己搞明白规则

受试者不获知任何游戏说明,必须自己完成5件事:

ARC-AGI-3的5项核心能力

❶ 探索未知界面——从来没见过的操作方式

❷ 从稀疏反馈中推断规则——没人告诉你怎么玩

❸ 形成并测试假设——猜一个规则,试一下

❹ 从错误假设中恢复——猜错了能改

❺ 把学到的知识迁移到下一关——举一反三

这5件事,就是真实世界中"独立工作"的核心能力。搞了多年连锁零售信息化,我太熟悉了——给你一套新的报表系统,没人教你,你得自己摸索按钮在哪、数据怎么导、格式怎么调。这就是ARC-AGI-3测的东西。

❸AI为什么不行?3种死法

ARC Prize Foundation分析了160场游戏回放,总结出AI的3种失败模式:

死法1:看到了,但理解不了

表现:模型能感知局部效应("我按了按钮,东西动了"),但无法转化为世界模型("原来这个按钮控制方向,我应该先调方向再行动")

本质:不是因为没观察到,而是无法把观察锚定到理解中

死法2:把陌生问题硬套成熟悉的游戏

表现:模型反复把新机制映射到已知的Tetris、Frogger、Sokoban等游戏

本质:局部视觉相似 → 变成完整的游戏理论 → 浪费大量行动测试错误的思路

死法3:过关了,但没学到

表现:即使通关了某一关,奖励信号并未转化为后续成功

本质:通关≠理解。Opus 4.7用37步解决了Level 1,但"为什么能过"的理解是错的——Level 1恰好容错了这个误解,Level 2就彻底翻车

❹GPT-5.5 vs Claude:不同的失败,同样的惨

最精彩的部分来了。仅看0.43% vs 0.18%,你会觉得"两个都差不多烂"。但回放揭示了完全不同的死法:

维度

Opus 4.7

GPT-5.5

压缩特点

错误压缩

无法压缩

机制发现速度

快(能快速识别镜像结构)

假设生成

窄而坚定——快速形成理论

宽而发散——想法多但不执行

执念倾向

高——锁定错误就不改

低——在各类比间漂移

一句话总结

自信地犯错犹豫地错过

Opus 4.7像一个过于自信的学生——快速形成理论,但理论是错的,然后一条路走到黑。GPT-5.5像一个犹豫的学生——嘴里说着正确答案,但就是不执行,在各种可能性之间飘来飘去。

不同的死法意味着不同的改进方向。这就是ARC-AGI-3比普通测试厉害的地方——它不只告诉你"错了几题",而是告诉你"怎么错的"

最强AIGPT-5.5和Claude被一道人类轻松满分的测试打回原形


❺这对普通人意味着什么?

你可能觉得"AI考不过人类"跟你没关系。但有三件事值得想清楚:

第一,AI"会"和"懂"是两回事。大模型在已有知识领域(编程、写作、翻译)已经非常强,但遇到真正的新问题,它就像一个背了100本参考书但不会独立思考的学生——知识很丰富,推理很拉胯。

第二,"过关≠理解"这个规律在工作中也成立。你用AI完成了一次任务,不代表AI真的理解了你的需求。下次换个场景,可能又翻车。这就是为什么AI工具需要反复调试Prompt——它不是"学会了",而是"碰巧对了"。

第三,你的工作越需要"面对陌生环境自己搞明白",越不容易被AI替代。这不是安慰,是ARC-AGI-3用数据证明的事实——独立推理能力,AI差人类还远着。

大模型背了全人类的知识,却过不了一个6岁孩子能过的关。知识≠理解,这就是AI和人类的距离。

—— 虾哥的AI观察

你觉得AI能真正"理解"问题吗?还是永远只会模式匹配?评论区聊聊

关注亮虾哥

连锁零售IT老司机 | 非程序员用AI省80%时间

每天一篇AI干货,让AI替你打工

#ARC-AGI-3#AI推理#GPT-5.5#Claude#AI工具#深度解读

展开 收起
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
0
扫一下,分享更方便,购买更轻松