陶哲轩警告“把思考交给AI”:危险的不是AI给出答案,而是人类不再理解答案

源自34位全网作者

08:39

11月5日,“陶哲轩警告:人类思考交AI危险”登上热榜。这句话出自《纽约客》11月1日刊发的特稿《The Year Math Changed Forever》(数学永久改变的一年),文中记录的这场警告并不是一句口号:在数学领域,答案本身往往不重要,寻求答案过程中产生的洞见和创新才是关键。“我们必须放慢脚步,现在的速度太疯狂了。”陶哲轩在文中说。 他还把AI比作20世纪的食物革命——绿色革命让食物变得便宜充足,肥胖和饮食失调随之而来,人类第一次需要刻意管住嘴、坚持锻炼;AI可能让“脑力活”同样变得极其便宜,人需要像管理饮食一样管理“精神饮食”,坚持脑力锻炼,否则思考能力会像身体一样退化。微博微博

要理解这句话的分量,得看他过去两个月连续发出的声音。9月11日,陶哲轩、邓煜等25位菲尔兹奖得主发表联合声明,警告人工智能快速用于解决数学问题可能使AI发展目标与数学研究目标“严重错位”。 10月初,他在加州理工发表“Math 2.0”公开演讲;10月下旬,英国《观察家报》刊发对他的专访;据麻省理工科技评论,就在专访发表前一天,他在《自然》(Nature)杂志发表署名评论,呼吁数学界进入一个新的“Maths 2.0”时代。 这些表态反复指向同一件事:当AI能把“答案”批量生产出来,真正稀缺的就变成了理解、验证和提问的能力——如果人类把思考过程整个外包出去,危险不限于数学。界面新闻微博

警告的直接导火索:AI把数学“答案”打成了白菜价

今年10月6日,OpenAI一天内密集抛出722份学术预印本,宣称在372个复杂数学问题上取得突破性进展,并绕开同行评审期刊和arXiv,直接上传到自家GitHub开源仓库。 部分预印本随后因基本的符号错误被紧急撤回,文字证明与其Lean形式化代码之间也存在明显断层。在《观察家报》专访中,他将其中一些未经充分整理的数学证明称为“有毒废料”(toxic waste),批评科技公司只关心模型解出多少道题,不关心证明是否优雅、人类能否理解。界面新闻微博

陶哲轩同时提醒外界,警惕对AI数学能力的集体高估。澎湃新闻11月4日报道转述他的说法:AI数学热存在严重的“选择偏差”——OpenAI测的4000道题里,91%没有做出来,只有成功的那部分才会登上热搜;仅靠社交渠道获取信息,会严重高估AI的数学能力。微博

更微妙的变化发生在数学共同体内部。机器之心11月4日引述陶哲轩的最新演讲:因为担心研究想法被人抢先输入模型并发表,一些数学家已经开始隐藏自己的研究方向了——而这个学科近百年的传统恰恰是完全公开。哔哩哔哩

“危险解”:他不反对AI,反对的是验证速度跟不上生成速度

在SAIR基金会(陶哲轩任主席的科学人工智能研究基金会)的演讲里,他把这层担忧说得更具体:人类若失去对现实机理的把握,AI可能产生偏离目标的“危险解”。 他更担心的现实风险在于,当AI用于电网、空管和药物设计时,可能钻模型的漏洞,给出看似合格、却偏离真实目标的答案。微博哔哩哔哩

让公众争论最凶的,是他10月在加州理工讲座上抛出的思想实验:如果AI设计出一款抗癌药,通过了全部现有验证,但没有任何人说得清它为什么有效——你吃不吃?传播中被简化成了“陶哲轩反对用不懂机理的药”,引来医学史上的批量反驳:阿司匹林1897年合成、1971年才阐明机制,全身麻醉1846年用上、机制至今没有完全说清。但认真读过幻灯片原文的讨论指出,这个反驳其实换了题目:他的原意不是这个——他问的是,如果AI的方案通过了所有现有验证体系,但没有任何人类理解它为什么有效,这套验证体系还够不够用。 历史上的黑盒药物之所以能被容忍,靠的是几十年的验证时间尺度;而AI可以在数小时内生成数千个候选分子,设计是小时级、验证是月级、监管修订是年级——时间尺度被压缩,安全逻辑就变了。知乎

同样的判断也出现在他与芝加哥大学数论学家邓煜10月的SAIR对谈里。邓煜提出“两条边界”:过去“有证明”必然意味着“有人理解”,两条边界重合;当AI能够在不展示思维过程的情况下直接生成结果时,就制造出了“有证明,但只有AI知道,人类并不理解”的第二条边界。 陶哲轩则用“汽车与步行”作比:汽车确实比走路快,但你不会希望把所有原本步行的场景都换成开车——科学需要保留“慢科研”带来的好处,包括增进理解、建设共同体,让人类持续掌握对一个学科的理解;AI工具的使命应当是“增强人类能力”,而不是使人类退化为依赖答案的旁观者。界面新闻量子位

他不是卢德分子:反对的是玩法,不是工具

陶哲轩反复强调自己不是要拒绝AI。由他参与发起的SAIR Foundation,定位就是推动开源、安全及可追溯的AI在基础科学中的负责任应用;他给出的方案也不是禁止,而是改规则:缺乏人类可吸收思想的AI预印本不应进入正规学术文献,科技公司应该在研发初期就邀请数学家事前参与合作,而不是抛出结果让学界收拾残局。 风向确实出现了松动。10月26日OpenAI发布三项新成果时,已不再把它们包装成尘埃落定的科学成果,而是称相关手稿为有待进一步理解的原始研究材料,并邀请外部专家组织研究团队核查、解释。界面新闻知乎

还有一个流传很广的误读需要澄清:11月初被热议的“所有论文都当AI写的来审”的行动清单,作者是芝加哥大学数论学家Frank Calegari,陶哲轩只是刊发者,观点归Calegari本人——这篇发表在陶哲轩博客上的文章被不少人当成了他的个人表态。 这个误读本身恰是热点的注脚:在答案洪水里,连“谁说了什么”都成了需要人工核实的东西。知乎

回到热搜上的那句话。对不研究数学的普通人,陶哲轩真正可迁移的是“精神饮食”这个概念:食物过剩之后,人类第一次要学会刻意管理饮食才能保住健康;当思考被AI接管,理解力同样需要刻意保留——先自己想、自己写,再让AI补位;接受一个结论之前,确认自己有能力检验它。“断电之后人类还能不能自立”,他留给所有人的其实是这个问题。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章