AI 一本正经地编文献、编报考信息、编报告数据,越像真的越坑——四起翻车事件,加一张分场景核查清单,怎么认、去哪核,替你捋清了
今天刷到一条新闻,看完后背有点发凉。
据 CNN 9 月 19 日报道,今年春天美伊冲突期间,美军内部传开一份情报报告,说一艘在中东的中国船只正在运送核武器项目的部件。美军立刻行动,武装人员准备登船,军机都升空了。直到行动开始前,有人把这份报告又仔细审了一遍,才发现它是一名分析师用 AI 聊天机器人辅助写的,机器人把船上装的货物认错了。消息人士的原话是,这份报告"完全是假的",可它"差点引发一场战争"。
我看这条新闻,比起美军流程有多潦草,更在意的是背后一个特别朴素的道理:AI 最坑人的地方,在于它不会的时候,还装得特别会。它递给你的东西,格式工整、语气笃定、看着就让人想信。越是这种"一眼看过去太对了"的,越值得停半分钟,多留个心眼。
这事离咱们远吗?一点不远。这大半年,AI"一本正经地编"已经接连捅了好几个娄子,从顶级咨询公司到法院判决书,再到开学季孩子手里那份用 AI 查的资料。今天这篇,老舅替你把这些事捋一捋:AI 为什么会编、怎么一眼认出它在编、哪几样东西你必须自己核、分别去哪核。看完你至少能少走弯路,少踩那种"当时看着挺对、事后追悔莫及"的坑。
先把四件事摆出来,你就知道这不是吓唬人
第一件,顶级咨询公司的报告,被测出几乎是 AI 编的。 今年 8 月,普华永道陆续发布的几份研究报告被媒体和网友扒出充斥"AI 幻觉":虚构概念、错误引用、编造参考文献,其中一份被检测工具判定为 100% 由 AI 生成。知乎上热议这事时,一位审计一线的从业者说了句大实话:锅不能全甩给 AI,真正的症结是人慢慢懒了,把职业判断交给了机器,而 AI 输出的文字"工整顺滑",恰恰最容易让人放松警惕。
第二件,AI 编的高校报考信息,一路编进了法院。 知乎上罗飞律师复盘了全国首例生成式 AI"幻觉"侵权案:2025 年 6 月,一位梁先生用某 AI 应用查某高校的报考信息,AI 告诉他该校有个校区。梁先生觉得不对,纠正它,AI 偏要坚持。梁先生再追问,AI 干脆给了个"纠错方案",说要是内容有误就赔 10 万元鉴定费,还建议他去杭州互联网法院起诉。梁先生自己去核实,那个校区根本不存在。他固定证据、起诉运营公司索赔 9999 元,结果 2026 年 1 月法院驳回了全部诉求。理由里有一条特别关键:AI 不具有民事主体资格,它说的"我赔你 10 万",在法律上没人认。
第三件,学术圈已经开始动真格罚"用 AI 不核查"。 预印本平台 arXiv 放出狠话:用 AI 虚构参考文献的,封禁一年,而且连坐所有署名作者。科普作者赵泠把这种乱象起了个形象的名字,叫"氛围引用",意思是一些人压根没看过自己论文里列的文献,连文献的名字、作者、期刊、数字识别码里至少有一项是 AI 胡编的都不知道,就敢往上传。arXiv 的态度很明确:在论文上署名,就等于对全部内容负全责,管你这内容是不是 AI 生成的。
第四件,就是开头那条美军的假情报。 它最扎心的地方在于,那名分析师还用 AI 把错误结论打包成了一份"标准情报报告",那种军方官员一看格式就默认可信的报告,然后分发了出去。CNN 引述的消息人士里有句话,我觉得每个用 AI 的人都该记一下:“AI 让你更快地到达一个坏主意。”
四件事,四个完全不同的圈子,栽的却是同一个跟头:把 AI 给的"看起来对",直接当成了"真的对"。
AI 为什么编得这么像真的?两个你该知道的底细
很多人以为 AI 编东西是"算错了",其实更接近"它本来就靠概率接话"。人民日报此前就点过,AI 幻觉和训练数据源密不可分。通俗讲,问题常常出在它"吃错了"——训练数据源本身被污染,它再顺着错误的数据把话接下去。它学的是海量文字里"什么词后面常跟什么词",于是能生成一段语法通顺、术语齐全、格式漂亮的话,但这句话背后的事实有没有据,它并不真的"知道"。微软亚洲研究院的文章也说过,这种幻觉不像程序报错那样当场崩给你看,而是"以极高的可信度输出错误信息"。闲聊时说错个冷知识,顶多当个笑话;可一旦放进报考、就医、签合同、写报告,就是真金白银的麻烦。
更值得警惕的是第二个底细:AI 不光会骗你,还会喂大你的自信。量子位和科普中国都报道过一项来自巴黎高师、罗马第一大学、米兰比可卡大学的研究,发现没有 AI 在旁边时,人反而更愿意爽快地承认"我不知道"、先把判断放一放;可 AI 一出现,哪怕你心里清楚它会犯错,也会不自觉地更笃定、更少打问号。换句话说,AI 给的那份"确定感",本身就有传染性。你越信它,越懒得核;越懒得核,越容易出事。

把这两条合起来看,结论就清楚了:AI 输出的"正式感"和"笃定语气",跟内容真不真,是两码事。格式越漂亮、话说得越满、越拍胸脯打包票,你越要停一下。首例案里 AI 都敢"承诺赔 10 万"了,法院照样不认,这就是最好的提醒。

学会认"AI 腔":几个一出现就该提高警惕的信号
认不出哪句是 AI 写的,核查就无从下手。知乎上有个三千多人收藏的高赞回答,作者把自己"去 AI 味"的经验讲得很细,我挑几条对普通人最有用的转述给你。需要说明,这些只是帮你提高警惕的信号,不是百分百的判据,毕竟人写正式公文、写报告时也会这么说话。
硬立靶子的"平衡句"。 典型就是那句"这不是……而是……“。人用这个句式,是因为前面确实有个说法要纠正;AI 却常常在根本没有前因的情况下,为了把后半句衬得重要,硬生生先立个靶子再推翻。你读着觉得"绕了一下、但好像也没说啥”,多半就是它。
名词化,把动作冻成抽象大词。 比如把"我们怎么做"写成"对……的推进与落实"。形容词好删,动作被藏进一串抽象名词里却看不见,这是 AI 腔和翻译腔的大来源,也最难自查。
排比式的"首先、其次、最后、以及"。 还有"指出、强调、全方位突破"这类,外加一堆新闻联播味的成语。结构对仗得太齐整,读着像模板填空。
英文味的破折号特别多。 这是英文插入语的书面习惯渗进来的结果,中文里正常人很少这么频繁地用。
整体"太顺、太对、太工整"。 一位审计从业者的形容很到位:AI 输出的文字"工整顺滑"。可现实里真正靠谱的结论,往往带着毛边、带着限定条件、带着"这个得看情况"。顺滑得不像人话的,反而要当心。

我多说一句自己的判断:认 AI 腔,目的不是让你去当"鉴 AI 警察",看到对仗句就喊打。它的真正用处,是给你一个"该核一下了"的触发器。尤其是当你收到孩子交的作业、同事发来的材料、网上刷到的长文,发现满屏都是上面这些特征时,别急着信里面那些文献、数据和引用,先当成"待核实草稿"。
最坑的一类:AI 编的"出处、文献、引用、数据"
在所有 AI 编的东西里,最坑的是带着"出处"的。因为它一旦附上文献名、作者、期刊、年份、网址、百分比,可信度立刻拉满,你很容易就跳过了核查。可这恰恰是 AI 最擅长伪装的部位。
知乎上有人写过一段特别真实的崩溃经历:让 AI 帮忙做文献综述,初稿三十秒就出来了,看着挺好,可心里发毛,打开学术搜索一条条查,半小时后发现 20 条引用里有 6 条压根查不到;把假的删了,剩下的也不确定,最后花了三个小时去核 AI 三十秒写的东西,“心态崩了”。还有位网友说,自己让 AI 写材料初稿,AI 顺手列了 30 篇参考文献,当时那叫一个欣喜,后来才发现不少是编的。另一位更实在:吃过亏以后,凡是 AI 给的文献,一律让它附上网址,自己再去核一遍,“幸亏当时没查几个”。
这些反馈凑到一起,指向同一个动作:AI 给的每一条出处,默认它可能是编的,直到你亲手核实为止。
这里给你一段可以直接复制、贴进任何 AI 对话框的提示词,用来逼它交代出处、少编乱造:
```
请只引用你确定真实存在的来源。每一条引用都要给出:完整标题、作者、发表年份、期刊或出版社、DOI 或可访问的网址。凡是无法确认的来源,请直接标注"未核实",不要编造。回答结束后,请单独列一段"我不确定的部分",把你没把握的内容都写进去。
```
如果它已经写完了一大段,你还可以追一句,让它自己把"事实"和"推测"分开:
```
你刚才这段回答里,请逐句标注哪些是"有来源的确定事实"、哪些是"你的推测或概括"。有来源的,请补上具体出处;没有来源的,请明确说明。
```
这两段提示词不能保证 AI 从此不编,但能大幅提高它"主动交代不确定性"的概率,也方便你顺着它给的线索去核。记住那位网友朴素的做法就对了:让它给网址,你自己去点。
一张分场景核查清单:哪样必须自己核,分别去哪核
下面这张清单,是这篇文章最想让你带走的东西。原则只有一条:AI 可以帮你查、帮你理、帮你写初稿,但有后果的那一步,必须回到原始信源自己核。 不同场景,核的地方不一样。
文献、论文、引用 → 回 Google Scholar、知网、万方核对,医学类加 PubMed,再用 Crossref 或 DOI 反查。务必打开原文,确认标题、作者、期刊、年份、DOI 全都对得上。AI 给的"看起来像那么回事"的文献,最经不起这一步。
报考、招生、学区、教育政策 → 回目标学校的招生办官网、你所在省的教育考试院官网、教育部官网,拿不准就直接打招办电话。首例 AI 幻觉案,栽的就是"AI 编了个不存在的校区"。涉及孩子升学的,一个字都别只信 AI。
数据、统计、行业报告 → 回国家统计局、相关部委官网、原始报告 PDF 核对。普华永道那几份报告的问题,正是虚构概念、错误引用、编造文献。别人转述的数字、图表,能追到原件再信。
医疗、用药、体检指标 → 交给医生和药师。AI 可以帮你把症状、想问的问题整理清楚,方便你挂号时高效沟通,但诊断、用药、剂量,必须听专业人士的,别拿 AI 的回答自己抓药。
法律、合同、判决 → 核对国家法律法规数据库里的现行有效文本、中国裁判文书网,个案一定咨询执业律师。还是那句:AI 说的"我赔你 10 万"不算数,它给的法律依据也可能是编的。
理财、保险、费用条款 → 以产品官方说明书、合同原文、官方客服为准。收益率、免责条款、扣费规则这些,AI 说的只能当线索,签字前一定看白纸黑字。
新闻、时事、名人言论 → 找权威媒体的原文报道,多个独立信源交叉验证。别只凭一张截图、一段短视频就当真,断章取义和 AI 生成的假内容现在都很多。

把这张清单存下来,下次让 AI 帮忙之前,先想清楚这件事属于哪一类、该去哪核。有后果的场景,核这一步省不得。
三条底线,记住就够了
说了这么多,老舅给你收个口,三条底线:
第一,AI 是工具,不是权威。 它帮你省时间、理思路、出初稿,这些都真香。但"信不信、用不用"这一步,永远是你自己的事,别外包给它。
第二,越要紧的决定,越要回到原始信源。 报考、就医、签合同、转账、写要署名的报告,AI 的话只能当线索,不能当依据。美军那份假情报的教训就是,流程一旦变成"先行动、再核对",就离出事不远了。咱们普通人把顺序摆正:先核对,再行动。
第三,别被"正式感"和"笃定语气"唬住。 AI 说得越顺、格式越漂亮、越拍胸脯,你越要停一下。它给你的那份"确定感",本身就会喂大你的自信、削弱你的判断。留半分怀疑,是对自己负责。
最后
我不反对用 AI,它确实能帮人查资料、理结构,把人从重复劳动里解放出来。但有一步不能省,就是先核对、再行动。AI 给你的永远是一份"草稿",签字的得是你自己。首例案里那位梁先生,虽然官司没打赢,但他做对了一件事:AI 说有个校区,他自己去核实了一遍,发现是假的。这个"自己去核一遍"的动作,比任何判决都更能护住你。
接下来有两件事值得你留意。一是你常用的 AI,有没有上线"标注来源""可信引用"这类功能,现在不少模型都在往这个方向走,有的话优先打开,能帮你把核查的活儿省一半。二是你所在的单位、学校,有没有出台"AI 生成内容必须人工核查"的规定。arXiv 已经动手罚"氛围引用"了,国内一些高校和期刊也在跟进。等这些规矩落到你头上时,今天养成的核查习惯,就是你最稳的底气。
AI 能替你干活,但替不了你担责。这句,记牢了。
