不同难度数学题,AI正确率差多少?实测7个模型:差距主要不在对错,在算力

源自105位全网作者

15:49

先把结论放在前面:在这轮测试里,6个旗舰模型做小学应用题和高中基础题,正确率都是100%;到了AIME和HMMT,正确率开始分化,但掉下去的主要不是“做错”,而是“没做完”。单题预算设为2万token、10分钟,有模型直接卡在半路。

我们选了40道题,按难度分成四层:小学应用题(GSM8K)、高中基础(MATH-500)、AIME 2026、HMMT Feb 2026,每层10道,全部是整数答案,方便统一判分。参赛的是6个旗舰模型:GPT-6 Astra、Claude Opus 5.5、Gemini 3.1 Pro、DeepSeek V4 Pro、Qwen3.8 Max、Kimi K3.1 Pro;另加一个轻量模型Gemini 3.5 Flash Lite做对照。禁用工具、代码和搜索,每题只跑一次,不重试、不投票。

模型

小学

高中

AIME

HMMT

HMMT未完成

GPT-6 Astra

10/10

10/10

10/10

10/10

0

Claude Opus 5.5

10/10

10/10

10/10

10/10

0

Gemini 3.1 Pro

10/10

10/10

8/10

6/10

4

DeepSeek V4 Pro

10/10

10/10

9/10

6/10

4

Qwen3.8 Max

10/10

10/10

10/10

5/10

5

Kimi K3.1 Pro

10/10

10/10

9/10

7/10

3

Gemini 3.5 Flash Lite(轻量)

10/10

10/10

7/10

4/10

0

注:正确=最终答案正确;未完成=没有给出最终答案。超时或超预算但已经写出答案的,仍按答案判分。

前两层没有悬念。7个模型、140次作答,全对。这个结果不新鲜:GSM8K和MATH是已经被刷了多年的老基准,头部模型早已饱和。 真正的分化从AIME开始。Gemini 3.1 Pro有两题想到2万token还没收尾;DeepSeek V4 Pro有一题超过10分钟没返回;Kimi K3.1 Pro错了一题,把279写成了280。除此之外,给出最终答案的题几乎都对了。刘聪NLP

HMMT是比AIME再高一档的竞赛,题目更活、更少套路。 它把分化放大。GPT-6 Astra和Claude Opus 5.5都是10/10;Gemini 3.1 Pro和DeepSeek V4 Pro都是6/10,各有4题没给出最终答案;Qwen3.8 Max 5/10,5题卡在2万token;Kimi K3.1 Pro 7/10,3题超时。看上去差距很大,但把“没做完”的题拿掉,已完成的题几乎全对。它们不是不会做,是在预算内做不完。知乎

代价写在token账单上。GPT-6 Astra从小学题的30个输出token,涨到HMMT的554个;Claude从160涨到3505;Gemini从513涨到接近2万;Qwen在HMMT的中位数直接顶到2万上限,中位耗时508秒。难度每升一级,多数模型要多花十几倍到上百倍的算力,才能把正确率维持在原来的水平。

轻量模型是另一种故事。Gemini 3.5 Flash Lite在小学和高中也是10/10,但AIME只对7题,HMMT只对4题,而且不是没做完,是直接做错:HMMT第1题它算出450,正确答案是1230。对它来说,难度曲线是真的往下掉。

这也解释了为什么“AI数学”的新闻总是互相打架。一边是2026年IMO,Claude Fable 5、GPT-5.6 Sol、Kimi K3三款模型在6道题上拿到42/42满分;另一边,整场测试能耗到几十万甚至上百万token,Kimi在P3一题上就跑了491分钟。 正确率的背后,是一张越来越长的算力账单。新智元

FrontierMath Tier 4更直接。2025年7月刚推出时,最高分约5%;2026年9月,GPT-6 Astra已经到97.6%,Epoch AI宣布这个层级饱和。但饱和的只是“已经公开、已经被反复研究”的题:FrontierMath Erdős的68道开放题,Astra只解决2道。量子位

在10道从未公开的研究级题目上,表现最好的参赛系统也只答对6道。 这些题没有现成的训练数据可背,也没有“标准解法”可套,差距立刻回来了。知乎

所以,回到最初的问题:不同难度数学题,AI正确率差多少?对旗舰模型,答案接近“不差”——差的是你愿不愿意给它几分钟和几万token;对轻量模型,答案是从100%掉到70%、再到40%;对没见过的题,答案是最好的模型也只对六成。难度没有消失,它只是从“对不对”,变成了“做不做得完、见没见过”。

陶哲轩把这类批量产出、未经整理的证明称为“有毒废料”。 当基准分数越来越像一场算力竞赛,正确率已经不能单独说明AI到底懂了多少。DeepTech深科技

最后交代局限:每层只有10道题,且只选了整数答案,这类题通常也更容易判分;AIME和HMMT 2026已经公开数月,不能排除训练数据污染。这里的正确率是上限,不是AI的绝对能力。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章