什么值得买App下载 App ›
连续签到专享现金活动

手搓的论文被判99.9%是AI:写得越规范,为什么越容易被误判?

11月20日,"越规范通顺越易被误判为AI"登上微博热搜,争议由澎湃对知网"AI检出率暴涨"的系列报道点燃:一模一样的文稿,前后检测数值大变;纯人工撰写的论文,AI疑似率忽高忽低;姓名、基金信息、中药方剂文字都被算法标红。澎湃新闻

一位博主逐字手敲的5374字,5371字被标红,检出99.9%的AI特征。而有研究者发现,自己已发表过的原创论文,AI检出率较高,而随手用AI生成的文本检出率却很低。这道热榜题的答案不是"系统出bug"——当下主流AIGC检测工具判断的不是"你有没有用AI",而是"这段话有多规范",而学术规范恰恰把人写进了和大模型相同的统计区间。知乎澎湃新闻

手搓的论文被判99.9%是AI:写得越规范,为什么越容易被误判?

检测器测的是"可预测性",不是作者身份

清华大学新闻学院和人工智能学院双聘教授沈阳介绍,AIGC检测是基于统计分布与语义表征的概率推断技术,和传统查重并不等同。它的标尺通常是两把:一是预测难度(困惑度),即语言模型逐字"猜"这段文字有多容易——越容易被猜到,越像AI;二是句式长短的变化程度(波动性),节奏越均匀,越像AI。澎湃新闻

大模型的输出,本就是海量规范文献的最大公约数。熊丙奇说得直白:绝大多数AI模型的训练素材,本身就是海量的已有文献、经典著作和规范范文,结构规范、逻辑通顺、表达严谨的人工原创文章,很容易被机器误判为AI生成内容。现代学术写作的训练目标又恰恰是"去个性化":冷静客观、术语精准、结构固定、衔接工整。你越严格按规范写,句子就越可预测、节奏越均匀——在统计上,这和"AI写的"几乎是同一件事。澎湃新闻

这也解释了为什么姓名、基金号、中药方剂这类不可能由"AI写作"的内容也会被标红:检测器读的不是语义,只是高概率字符。青年研究者张林的引用政策内容被大段标红,他猜原因"可能因为内容大多数是规整甚至对仗的"。澎湃新闻

升级放大的第二重问题:结果连"稳定"都做不到

如果说"规范像AI"是技术上的固有缺陷,10月24日这次升级让学生和研究者直观感受到的是另一重硬伤:结果不稳定。澎湃"马上测"用同一篇纯手搓论文在知网、万方、维普三大平台同文实测,AI疑似率全部超过25%。另一篇2000字的纯AI文稿,知网测出99.9%,万方只有逾24%,维普近50%。也有学生把自己独立完成的3篇投稿送去检测,累计花费近三百元,得到35%、9%、55%三个完全不同的读数。杭州网华西社区报知乎

知网客服回应称本次更新之后检测到的AI疑似率会有变动,系统正处版本迭代过程。知网AIGC检测服务协议本身也写明,检测有可能漏检或误检,仅供参考,与文章质量无法直接挂钩。但现实使用中,不少期刊和高校把20%~30%的AI率当成投稿、毕业的硬门槛,受访学生的质问点出了真实空白:所谓的AIGC检测"国标"都没有,凭什么说我的文章就是AI生成?知乎知乎澎湃新闻

手搓的论文被判99.9%是AI:写得越规范,为什么越容易被误判?

国际学界踩过同一个坑:认真写作的人最先被针对

这不是中文平台独有的问题,多项独立研究发现,AI检测系统存在大量误判,而且误判呈现出明显的系统性偏向。斯坦福大学梁威团队2023年的研究用7款主流英文检测器测试非母语写作者的真人作文,平均61.3%被误判为机器生成,97.8%至少被一款检测器误标,而母语作文的误判率接近零。知识分子知乎知乎

原因很直白:非母语者词汇量小、句式保守,困惑度天然偏低,而"困惑度低"和"AI写的"在数学上几乎是同一件事。检测器惩罚的不是作弊,而是认真写作——此后Turnitin等工具作为纪律证据的正当性,在北美学界持续遭到质疑,今年11月的中文平台争议只是同一逻辑的重演。知乎

手搓的论文被判99.9%是AI:写得越规范,为什么越容易被误判?

眼下更稳妥的应对方式

对正在交稿的人来说,最可取的姿态是把检测报告当复核线索而不是判决书:论文被AI标记后,改变的是举证责任,核实责任始终由作者承担。被标红后,先固定报告原文、版本记录和检测时间,整理草稿、笔记、实验数据等写作过程证据,再申请人工复核,这是把争议拉回文本质量本身的筹码。知乎

盲目"降AI率"未必能救你。被澎湃报道的一名中医方向研究者,为了满足期刊"AI率低于20%"的指标,“文章硬是改到小学生二年级作文水平”,结果是指标达标了,稿子反被以"口语化严重,缺少学术性"退回。围绕这条门槛,还长出了"用AI生成论文初稿,再用AI检测工具去检测AIGC率,最后用AI去改写,降AI率"的闭环产业链。真正值得盯住的后续,是AI生成率检测会否被限定为辅助线索、国标和申诉通道会否出台——学术诚信不能由算法说了算。知乎知乎光明网

评论

评论区空态插画

当前文章无评论,是时候发表评论了