先把结论放在前面:在这轮测试里,6个旗舰模型做小学应用题和高中基础题,正确率都是100%;到了AIME和HMMT,正确率开始分化,但掉下去的主要不是“做错”,而是“没做完”。单题预算设为2万token、10分钟,有模型直接卡在半路。
我们选了40道题,按难度分成四层:小学应用题(GSM8K)、高中基础(MATH-500)、AIME 2026、HMMT Feb 2026,每层10道,全部是整数答案,方便统一判分。参赛的是6个旗舰模型:GPT-6 Astra、Claude Opus 5.5、Gemini 3.1 Pro、DeepSeek V4 Pro、Qwen3.8 Max、Kimi K3.1 Pro;另加一个轻量模型Gemini 3.5 Flash Lite做对照。禁用工具、代码和搜索,每题只跑一次,不重试、不投票。
模型 | 小学 | 高中 | AIME | HMMT | HMMT未完成 |
|---|---|---|---|---|---|
GPT-6 Astra | 10/10 | 10/10 | 10/10 | 10/10 | 0 |
Claude Opus 5.5 | 10/10 | 10/10 | 10/10 | 10/10 | 0 |
Gemini 3.1 Pro | 10/10 | 10/10 | 8/10 | 6/10 | 4 |
DeepSeek V4 Pro | 10/10 | 10/10 | 9/10 | 6/10 | 4 |
Qwen3.8 Max | 10/10 | 10/10 | 10/10 | 5/10 | 5 |
Kimi K3.1 Pro | 10/10 | 10/10 | 9/10 | 7/10 | 3 |
Gemini 3.5 Flash Lite(轻量) | 10/10 | 10/10 | 7/10 | 4/10 | 0 |
注:正确=最终答案正确;未完成=没有给出最终答案。超时或超预算但已经写出答案的,仍按答案判分。
前两层没有悬念。7个模型、140次作答,全对。这个结果不新鲜:GSM8K和MATH是已经被刷了多年的老基准,头部模型早已饱和。 真正的分化从AIME开始。Gemini 3.1 Pro有两题想到2万token还没收尾;DeepSeek V4 Pro有一题超过10分钟没返回;Kimi K3.1 Pro错了一题,把279写成了280。除此之外,给出最终答案的题几乎都对了。刘聪NLP
HMMT是比AIME再高一档的竞赛,题目更活、更少套路。 它把分化放大。GPT-6 Astra和Claude Opus 5.5都是10/10;Gemini 3.1 Pro和DeepSeek V4 Pro都是6/10,各有4题没给出最终答案;Qwen3.8 Max 5/10,5题卡在2万token;Kimi K3.1 Pro 7/10,3题超时。看上去差距很大,但把“没做完”的题拿掉,已完成的题几乎全对。它们不是不会做,是在预算内做不完。知乎
代价写在token账单上。GPT-6 Astra从小学题的30个输出token,涨到HMMT的554个;Claude从160涨到3505;Gemini从513涨到接近2万;Qwen在HMMT的中位数直接顶到2万上限,中位耗时508秒。难度每升一级,多数模型要多花十几倍到上百倍的算力,才能把正确率维持在原来的水平。
轻量模型是另一种故事。Gemini 3.5 Flash Lite在小学和高中也是10/10,但AIME只对7题,HMMT只对4题,而且不是没做完,是直接做错:HMMT第1题它算出450,正确答案是1230。对它来说,难度曲线是真的往下掉。
这也解释了为什么“AI数学”的新闻总是互相打架。一边是2026年IMO,Claude Fable 5、GPT-5.6 Sol、Kimi K3三款模型在6道题上拿到42/42满分;另一边,整场测试能耗到几十万甚至上百万token,Kimi在P3一题上就跑了491分钟。 正确率的背后,是一张越来越长的算力账单。新智元
FrontierMath Tier 4更直接。2025年7月刚推出时,最高分约5%;2026年9月,GPT-6 Astra已经到97.6%,Epoch AI宣布这个层级饱和。但饱和的只是“已经公开、已经被反复研究”的题:FrontierMath Erdős的68道开放题,Astra只解决2道。量子位
在10道从未公开的研究级题目上,表现最好的参赛系统也只答对6道。 这些题没有现成的训练数据可背,也没有“标准解法”可套,差距立刻回来了。知乎
所以,回到最初的问题:不同难度数学题,AI正确率差多少?对旗舰模型,答案接近“不差”——差的是你愿不愿意给它几分钟和几万token;对轻量模型,答案是从100%掉到70%、再到40%;对没见过的题,答案是最好的模型也只对六成。难度没有消失,它只是从“对不对”,变成了“做不做得完、见没见过”。
陶哲轩把这类批量产出、未经整理的证明称为“有毒废料”。 当基准分数越来越像一场算力竞赛,正确率已经不能单独说明AI到底懂了多少。DeepTech深科技
最后交代局限:每层只有10道题,且只选了整数答案,这类题通常也更容易判分;AIME和HMMT 2026已经公开数月,不能排除训练数据污染。这里的正确率是上限,不是AI的绝对能力。