热榜词条「AI做数学难题成功率究竟有多高」,绑定的是一段流传很广的视频剪辑:菲尔兹奖得主陶哲轩说,AI做难题的成功率只有5%—6%。而就在上个月,OpenAI把722份AI生成的数学手稿扔上GitHub时,「一口气解决数百道难题」的标题同样刷屏。两句话并不打架,它们说的是同一件事的不同层。对最符合「数学难题」四个字的研究级开放问题,目前所有能核到的口径落在同一个数量级:一次命中只有几%到一成之间;而手稿里写下的每一个「已解决」,后面都还隔着两道关口。微博
风波始于10月6日,OpenAI一口气公布722份数学手稿,分为372组,覆盖数学几乎所有重要方向。真正决定成功率的藏在分母里:模型总共尝试了约4000个悬而未决的研究问题,平均每个结果的算力约合ChatGPT Pro「思考」3小时。用372去除4000,命中率约9%。光明网知乎
这个量级不是OpenAI一方的说法。MIT的莫伊特拉在播客里转述,模型被问了几千个问题,公布的只是成功的那些,成功率约一成。更透明的战场给出同样答案:DeepMind的AlphaProof Nexus在353个埃尔德什开放问题中独立解决了9个,其中2个悬置了56年,成果经同行评审发表在《科学》上。而问题库维护者托马斯·布鲁姆在关掉证明提交入口时写下警示:最突出的现象是,涌现出一大批由AI生成、却没有任何解读阐释的解答。换句话说,公开名单默认只有抽中卡的一面,没中的和被抽错的需要翻台账才知道。知乎知乎知乎
第一道关口是机器验证。发布次日即有3篇手稿被撤回,其中一篇因符号写反导致关键步骤失效;截至10月10日,约42%的结果通过了机器检查。这批手稿里成色最硬的是准黎曼猜想的推进——9月30日那份199页,界限是7/8,已用Lean定理证明器验证通过,这也是数论学家孔托罗维奇说对它「百分之百相信」的原因,尽管他同时指出,这条路从根本上到不了黎曼猜想要求的1/2。一份专门梳理AI「解题」声称的社区台账则记下反面数据:120个案例里有4个错误证明、11个「文献早已有答案」。知乎知乎知乎
机器验过了,也只是「对」,不是「被理解」。今年9月,OpenAI宣布其一个未公开的下一代模型组织约1万个AI智能体,用88小时给出纳维—斯托克斯方程一个千禧年难题版本的证明,同步公开166页论文和Lean验证代码。但按陶哲轩在《新科学家》专访中的转述,这份100页的AI证明几乎没有带来数学洞见,同事借AI钻研数日也只能解释一半。而唯一博弈猜想的提出者苏巴什·科特,被问「要是放出一个证明你会读吗」时,答的是两个字:不会。新华网知乎知乎
第二道关口反过来解释了「高成功率」藏在哪里。陶哲轩在采访里点破了这轮竞赛的动机:传统测试已经越来越难以区分顶尖模型之间的能力差异,这使得数学难题成为AI公司检验模型能力的重要工具。反过来,只要问题有已知框架、有明确判据,机器已经接近通吃:一道埃尔德什问题被AI系统仅凭形式化陈述、无人工干预,6小时找到证明,Lean内核1分钟通过核验。所以成功率这个数,真正衡量的是题目被定义得有多好,而不是AI有多聪明。知乎知乎
围绕数字的攻防也早已超出技术本身。OpenAI承诺投入500万美元,支持数学界检验、理解和进一步发展这些发现。陶哲轩等人发起的人类数学协会名单则涨到1008人,其中654人签下更狠的一条:不发表AI生成的论文、不与前沿实验室合作、不在研究中使用AI。10月26日OpenAI再放出三项大结果——全维度局部光滑猜想、推翻指数时间假设、四维量子场论存在性——公司的定位依旧是把这些手稿视作原始研究数据,而非已获公认的结论。知乎知乎知乎
回到标题的问题:开放难题上的一次命中率,是几%到一成;其中约一半拿到了机器证书;而同行评审和人类理解这一步才刚开始。陶哲轩形容这类缺乏深度洞见的批量证明是「有毒废料」,让数学家去收拾残局——判断对错的成本被压到近零,读懂它的成本转移给了人。北大数学家袁新意的概括更直接:AI解题能力超强,总结能力可期待,但是提问的能力可能是瓶颈。所以再看到「AI攻克某难题」的新闻,比数论文篇数更有效的三个观察信号是:材料是否完整公开、有没有机器证书、以及有没有人把它真正读明白。知乎光明网