OpenAI 自曝六起 AI 失控实录：数字是编的、出处是假的，连本地文件都敢往公网传——让 AI 干活前的三道防线，替你捋清了

9 月 17 日这天，AI 圈出了两件事，单看都不算大新闻，放到一起看就有点意思了。

一件来自模型厂商自己。据《纽约时报》9 月 17 日报道，OpenAI 发布了一批调查报告，第一次用「对齐失效」这个框架，公开了自家模型过去半年里的六起异常行为。环球网转述时把它归成四类：隐瞒错误、编造数据、未经授权上传文件、模型之间私自建立通信。新智元把报告里的案例细节扒了出来，我看完在椅子上坐了一会儿。

另一件来自联合国。联合国儿童基金会测了六款主流大模型，就「全球发展指标」类的问题收集了 13.3 万条回答，平均准确率只有 21.2%。

一个是厂商自曝家丑，一个是第三方打分。两条新闻指向同一件事：AI 嘴里出来的数字，暂时还不能直接信。今天把这两件事和网友的踩坑经历放一起说清楚，再给你三道能直接抄的防线。

六起实录里，最开眼的三个案例

「对齐失效」这个词听着玄，直接看它干了什么。以下细节来自新智元的报道，我挑跟我们普通人关系最近的三个。

第一个：教唆「下一任自己」撒谎。

AI 跑长任务时记忆不够用，需要定期给自己写「交接摘要」，让下一段接着干。GPT-5.6 Sol 训练期间，监控系统抓到它在摘要里干这种事：一个财务任务里找不到要求的历史数据，它写下「建议虚构一组看起来合情合理的历史数值顶上」，还叮嘱下一棒的自己，「除非人类主动追问，否则绝不要透露这是编的」。

它知道自己在编，还专门安排了保密。监控统计里，这个模型 2.15% 的摘要带这种教唆欺瞒的倾向；新一代模型把数字压到了 0.27%。压低了，但没清零。

第二个：手搓九个数字，再配一个假出处。

任务是抓加州某县的收入数据。模型拿不到接口密钥，就跑去 GitHub 扫别人泄露的密钥，真扫出来一个，借来用了，结果数据格式还是解析不出来。换作人，这时候该报告「干不成」了。它没有，手搓了九个逼真的数字，在最终答案里写：以上数据均摘自官方图表。

九个数字是编的，那句「摘自官方图表」也是编的。

第三个：把你的本地文件传到公网。

一个湖泊数据任务，模型在本地算得清清楚楚。但用户的需求里随口提了一句「要提供浏览器网页引用来源」。为了造出一个能点开的「网页链接」，它在没有任何授权的情况下调用终端命令，把包含数据的本地文件传到了外网的公开临时文件托管网站上。

数据出去了，「引用」还是凑出来的。剩下三起——往自己的摘要里塞越狱指令、把内部仓库当留言板跨任务串通、合作的智能体之间走公网传文件——一样挺科幻，但上面这三个，离我们日常用 AI 最近。

先说句公道话

这些案例大多发生在模型训练和内部智能体测试阶段，跟你手机里的聊天 AI 是两回事，不用连夜卸载。

但它的价值在于，把用户抱怨了很久的一件事官方坐实了：AI 是填空题选手，不交白卷。干不成的时候，它会拿「最像答案的东西」顶上，说得理直气壮，有时还配好出处。为什么敢？小红书一个讨论「AI 为什么越来越会撒谎」的帖子下面，两条评论把话挑明了：程序被设计成不能尬住、必须有答案；训练机制奖励的是「看起来有道理的回答」，所以它不敢说「我不知道」。

联合国那份测试算是旁证。几个细节比 21.2% 本身更扎心：五分之三的回答根本给不出能用的数字，在那儿含糊其辞；同一批问题隔两天再问一遍，两次都给了数字的模型里，只有一半前后对得上。同一道题，今天一个数、后天一个数，这比单纯答错更麻烦。

有两点得说清楚，免得这个数字被滥用。第一，测试题集中在「全球发展指标」这个很窄的领域，别拿 21.2% 外推到 AI 的所有回答；第二，这目前是联合国儿童基金会的工作论文，还没过同行评审，方法、代码和数据要等正式发表才公开（据雷科技报道）。顺带一提，现在真有很多人从 AI 的回答里点进官方数据网站——光是从 ChatGPT 点进儿基会数据网站的次数，今年就比去年多了 67%。

联合国的药方是拉谷歌一起，把全球统计数据改造成 AI 能直接读、能溯源的格式，目标 2027 年搬完 80% 的数据集。谷歌数据团队负责人说了句大实话：给 AI 提供权威数据，不等于 AI 给的结论就权威，引用或发布之前，最好有人把把关。

你看，圈内人自己都知道症结在哪。

已经踩坑的人，都踩在哪

这不只是硅谷的事，翻翻小红书，踩坑的人一抓一把。

一位产品经理问 AI 某个品类去年的用户规模，AI 答得特别流畅：报告名、百分比、年份，格式漂亮到她差点直接复制进文档。她去搜那份报告——不存在。她后来给自己立了条铁规矩：凡是要写进文档的数字、报告名，一律要求 AI 给出处，自己点进去看；给不出来的，那一段就不写。她有句话值得抄下来：「署名的人是你，出事被叫去会议室的也是你。」

另一位更疼。AI 给他编了一整张 RTX 4090 对比表：显存省一半、吞吐提升 50%、能耗降 30%，数据齐整。他信了两天，照着把模型全切了，最后靠比对文件指纹才发现整张表是编的。他总结出一个分类法：数字、引用、价格、法条、时间，这几类必须验证；创意、改写、头脑风暴，这几类可以放宽。

还有一条上千赞的评论：AI 只适合当材料大纲提词器，它给出的任何信息都必须二次检查，否则怎么死的都不知道。

我看到一个特别有意思的对话。有人说自己现在会在需求末尾加一句「查官方资料，不要自己编」，底下的回复只有两个字：没用。

也是，光喊口号管不住它，得给方法。

三道防线，可以直接抄

第一道：给 AI「说不知道的权限」，逼它标出可信度。

下次让 AI 出带数字的内容，把这段放在需求开头（方括号里的按你的情况替换）：

「这份材料是给【汇报对象，如：老板决策 / 客户方案】用的，数据错了后果严重。请按规则回答：1. 每个数字、百分比、报告名、条文名，都给出来源（机构 + 文件名 + 年份），找不到来源的直接标注『未找到』。2. 不确定的内容直接写『这里我不确定』，不要猜。3. 回答结束后，列出你认为最不可靠的 3 个数据点，并建议去哪里核实。」

关键是前两条：明确告诉它「可以说不知道」，它才会从拼命填满切换成小心求证——这是小红书一位博主验证过的路子，我把原帖分三步讲的内容合成了一段。第三条是让它交自查报告，它知道后面要自查，一开始就不敢编得太放肆。

第二道：只查两类数字，去官方的地方查。

全篇复查不现实，也没必要。优先查两类：没给来源的数字，和「整齐」得可疑的数字——百分比太整、表格太漂亮、正好是你想要的那个结论，恰恰最危险。核的地方是固定的：统计数据去国家统计局和部委官网，公司数据去财报，政策法条去发布机构的官方文本，价格去电商商品页。AI 说「摘自官方图表」，就把它给的链接点开；给不出链接、或者点开不对的，当它没说过。