判断AI的数学答案靠不靠谱,标准不是它自己说算了多少遍,而是核验能不能离开模型独立完成。这个11月,数学界恰好给了两个方向相反的注脚。一边,一位独立开发者带着Claude,把秘鲁数学家Helfgott十三年前关于弱哥德巴赫猜想的证明,重新写成近20万行机器可检查的Lean代码,过程中发现原发表证明里有11处与实算对不上。另一边,姚期智与Kimi创始人杨植麟团队发布的TCSExam评测把8个前沿模型放进100道理论计算机科学的考题里,总分第一的GPT-6 Astra拿到71.9分,但在没有任何现成解法的开放猜想题上得分是0.0%。两件事合在一起,普通人评估AI数学答案的方法已经很清楚:先让它用工具算,再换一条路径独立验,最后按你用它做什么来决定信多少。新智元36氪
AI算错,很多时候不是因为不会算,而是因为不是在算
最近一个被反复转的实测案例:8576469÷3600,正确结果约2382.35,AI给出的却是语气笃定的234.5,差了将近一个数量级。它预测下一个词地往下写,数字也走同样的流程,内部并没有一个像计算器那样可靠的运算步骤,位数一多,中间漏一位、错一位,后面整串跟着错,口吻却始终自信。陶哲轩对这类模型有一个被广泛引用的概括:AI在几乎所有领域都有个致命伤,会犯没法核验的错误,唯独数学可以把对错交给机器自动检查。所以数学成了最先能"机器验算"的领域,而普通人日常用AI算账的场景——作业、账单、报价——恰恰没有这层自动检查。知乎36氪
错误藏身的地方也最有共性。Claude给人类证明"改作业"揪出的那批问题,几乎全是没人有精力逐条重算的冗长数值核对,比如一个关键常数被写成0.5,正确值应是0.8102。换句话说,"错了也没人复核"的位置,人类发表了十三年的证明一样会出错,AI的答案只会更甚——区别只在于前者这次被机器逐行重算了。新智元
最顺手的那招"再验一遍",大多没用
拿到一个要用的数字,多数人的第一反应是追问AI"你确定没算错"。这一招基本失效:让它"检查",它不是重新计算,而是接着自己已经写下的推理往下生成——错误的数字已经在上下文里,它大概率会给同一个结果配上一段更漂亮的验算过程。换一个模型交叉复核,也未必更可靠,因为大家是同一套机制,犯同一类错。就连厂商提供的"防伪"技术也帮不上这个忙:Anthropic开源的FlashProve用密码学手段确认回答确实出自指定模型,防的是中转平台偷换模型,而它自己写得很明白,这验证的是来源不是对错。结论只有一个:核验必须发生在模型之外。机器之心
三个真正起作用的开关
第一个开关:让它动手算,别让它背数字。涉及金额、工期、单位换算这些真要用的地方,要求AI写出算式并调用计算器或代码执行,而不是直接给结论。给出上面那个除法案例的作者顺手也给了解法:自己用计算器核一遍,或让它走真正的计算工具,再把结果反乘回去对一下,它能把算式写出来,不等于已经算对。知乎
第二个开关:换一条路径独立重算。除法就用乘法反推回去,合计就换一种分组再总加一次,表格数据用Excel独立汇总而不是复制AI的输出。出题方的纪律同样值得借用:TCSExam判分前会让一个独立的AI助手回头对照原论文核对题目条件,再拿特殊的小例子试算。在这套评测里,哪道题意外被证出来、或者分数高得反常,都会触发对题目和出处的重新审查——反常的好结果先怀疑,而不是先庆祝,这条纪律对普通用户同样成立。36氪
第三个开关:查出处和口径,复现不了的先当未证实。让AI给出数据来源并逐条回查原文,同时盯住单位、时间范围这些最容易悄悄换掉口径的地方。麻省理工学院数学家安德鲁·萨瑟兰对AI数学成果的立场可以直接套用:只要模型不公开、结果复现不了,任何一次性解决的宣称都只能算未经证实,要它拿出证据来。这份警惕有现实对应:上个月OpenAI一口气发布722篇AI生成的数学手稿,随后因符号错误撤回3篇、修改14篇,剩下的700多篇也没有数学家有时间逐项读完。缺的从来不是答案,是核验。钛媒体
场景分级比逐题复核更重要
三个开关不必每个数字都全开,按代价分级:随手查个数,扫一眼加反算验数量级就够;涉及钱——账单、报价、房贷、工期——必须独立复算一遍,这也是用户社区里最一致的自发红线;给孩子检查作业,要看过程而不是看对错,家长帖子里不缺"孩子本来算对、被AI批改成错"的情况,让AI代批等于把批改者自己的错误引进学习环节;涉及健康和法律的数字,AI可以帮你整理,决定必须是人做的。判断依据还是陶哲轩那份100页证明的例子:纳维-斯托克斯问题的AI生成证明长达百页,一位同事借助AI钻研数日也只能解释一半。答案对而过程没人看得懂,本身就是风险——这正是"只有结论、没有可核验路径"的AI输出最典型的毛病。钛媒体
最后说清边界:机器核验也不是绝对保险,陶哲轩同时提醒,Lean本身已被发现可被利用的漏洞,AI已经出现过构造假证明蒙混过关的作弊方式。但这不动摇普通人的标准,只是给它加上最后一格:一个答案越能被计算器、代码、原始出处和你自己的另一条算路判定,越可信;越只能依赖AI自己说得好听,越要防着它——用陶哲轩的话说,理解模型什么时候失效,和理解模型本身同样重要。钛媒体