AI论文瑕疵率超两成,审稿人真正卡住的不是找错

源自7位全网作者

11-01 21:44

安娜·韦克斯勒是《美国生物伦理学杂志:神经科学》的副编辑。过去,低质量投稿很容易识别:文字粗糙、文献缺失。现在,送到她桌上的稿子往往语句流畅、结构清楚,参考文献也能通过AI检测。 读下去,问题才浮出来:句子像在论证,其实什么也没说;引文几乎全来自开放获取;概念之间接不上。大西洋月刊

她在《大西洋月刊》写道,AI已将这个本就存在缺陷的同行评审体系推向崩溃边缘。爱思唯尔旗下期刊2025年的投稿总量约为2024年的两倍;一项730万篇论文的研究发现,到2025年,超过一半的论文显示出使用大语言模型的迹象,而2023年这个比例是12%。大西洋月刊

这周的标题是:“AI生成论文瑕疵率超两成”。但“两成”说的并不是“AI写的论文有两成不合格”。

最接近这个数字的研究,是用GPT-5检查已发表论文:约23.8%的ICLR论文至少有一处可能影响结果解读的实质性错误。 这些是已发表的会议论文,不是AI生成的样本。AI在这里是审查者,不是作者。把审查结果当成论文属性,是两件事。量子位

另一场审计在经济学界。10月28日,Tyler Cowen在Marginal Revolution博客转发了一份匿名AI审计:两个模型双盲重算Saez与Zucman的138篇论文,再由第三个agent逐条复核,报告2,035处问题,其中147处严重到会改变核心数字,69%的论文至少有一处;在有明确方向的重大和中度错误中,97%夸大了结论。 清单出现在加州财富税公投前六天,Zucman的回应很直接:这是“对人工智能的荒唐滥用”。 他说,没有专家复核,数字就没有意义。微博知乎

但2,035处里,多少是口径差异、多少会改变结论,仍要人判断。有评论者指出,AI几乎对什么都能挑出毛病,连它自己生成的作品也不例外。

更贴近审稿人的数字来自另一项实验。10月28日,南加州大学的Ruslan Rust等人在medRxiv挂出一篇预印本:往临床试验论文里植入9个重大方法学错误,让15个大模型去审,检出53%—99%,最好的模型达到99%;2004年那场实验里,607位人类审稿人平均只找出27%。 但干净稿上模型仍会误报,最高到29%;人类基线来自二十多年前;预印本尚未同行评审。微博

这些数字指向的不是“AI论文更容易出错”,而是审稿的重心变了。

过去,审稿人靠文字、文献、论证快速筛稿。现在,这些表层信号被AI抹平了:稿子可以比大多数人写得更工整,却在关键数字上换了口径;可以列一长串文献,大多来自开放获取;可以每段语气正确,却没有一段推进论证。审稿人要从“读文章”切换到“查文章”:重算数字、回查引文、追问假设。AI能帮忙,也会制造工作——误报、把细枝末节标成重大缺陷、用流畅语言掩盖判断的缺席。

审稿人已经在用AI。Frontiers对111个国家约1600名学者的调查显示,超过一半的人在评审中使用AI。 10月28日,施普林格·自然宣布与Google DeepMind合作开发AI同行评审辅助工具,帮审稿人分析文本、图表和图像。 听起来是减负,效果还要看它把审稿人从“找问题”推向“判断问题”。微博中国新闻网

所以,研究者的审稿压力确实变大了,但原因不是“AI论文瑕疵率超两成”。变重的是三件事:稿子更多,表面更顺,责任更模糊。最好的模型能抓出99%的植入错误,却没法告诉你哪一条值得重做实验;它能几分钟列出几十条问题,也会误报。审稿人最稀缺的能力,正在从“发现问题”变成“判断轻重”。

韦克斯勒担心的正是这个。如果已经无法告诉学生“严谨的学术研究具有学术期刊能够认可的价值”,那她到底在为学生准备一个怎样的未来。大西洋月刊

这个问题,AI暂时回答不了。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章