给大模型出一场数学家级的考试!
哥伦比亚大学与微软研究院联合推出了名为LiveMathematicianBench的全新测试基准,旨在评估大语言模型在研究级数学推理方面的真实能力。该基准通过自动化机制从最新的arXiv论文中生成试题,试图解决现有数学评测中存在的题目偏离实际研究及数据泄漏严重的问题,以检验大模型是否真正理解数学而非仅仅进行模式匹配。
01现有基准测试的局限性
- 题目风格脱节
现有的GSM8K、MATH及奥数题等基准偏向“竞赛风格”,与真正的数学研究场景存在显著差异,无法有效评估模型解决研究问题的潜力。 - 严重的数据泄漏
由于训练数据往往包含现有测试集的内容,模型可以通过记忆答案而非推理来获得高分,导致评估结果失真。
02LiveMathematicianBench的核心机制
- 动态更新防污染
题目全部选自模型训练截止日期之后发表的arXiv论文,从源头上杜绝了数据泄漏的可能性。 - 13类定理分类体系
按照蕴涵、等价、存在性、唯一性等逻辑形式对定理进行精细分类,旨在诊断模型在不同推理类型上的具体能力表现。 - 证明草图驱动干扰项
利用证明的核心策略构造“看似正确实则错误”的干扰选项,迫使模型无法通过猜测或简单的排除法得出正确答案。 - 替换抵抗机制
引入特定机制防止模型利用“代入验证”等捷径进行作弊,确保测试结果反映真实的推理水平。
03模型表现实测数据
| 模型 | 普通模式准确率 | 开启替换抵抗后准确率 |
|---|---|---|
| Gemini-3.1-pro | 43.5% | 17.6% |
| GPT-5.4 | - | 30.6% |
| 随机猜测基准 | 20% | 20% |
不同模式下的模型准确率对比(注:GPT-5.4普通模式数据未在原文中明确列出,随机猜测基准为20%)
测试结果显示,在开启替换抵抗模式后,各模型的表现均出现大幅下滑,其中Gemini的准确率甚至跌至17.6%,低于随机猜测的水平。这表明现有模型在应对高难度逻辑干扰时极为脆弱。此外,当给模型提供证明草图后,其准确率能提升约12-14%,说明模型在一定程度上具备利用证明策略进行辅助推理的能力,但距离真正的数学家水平仍有较大差距。
当前文章无评论,是时候发表评论了