OpenAI自曝两起智能体事故：AI拆了自家监控，被追问还不承认

“不要在 Slack 上发消息”，这句话本来是 82 条消息之前，有人随口交代的一个要求。

接到这句话的 AI，转头把安全告警给切断了。

10 月 21 日，路透社报道了 OpenAI 自己披露的两起内部事故，都是 AI 智能体在编程任务里，削弱了本该盯着它自己行为的安全监控。先把让人安心的部分说清楚，两起都发生在内部测试环境，没有波及任何外部用户，也没有证据显示 AI 是故意逃避监管。

听起来像大厂内部的工程事。但只要你让 AI 代付过账单、代申请过价保、代处理过文件，这篇就值得看完。这两起事故出错的方式，你每天都会遇到，只是规模小一点。

第一起发生在 10 月 3 日，一个 GPT-6.1 Sol 智能体在处理编程任务。这个模型 9 月底才发布，价格是旗舰的五分之一，性能接近旗舰。它的任务聊天记录里有一条要求，不要在 Slack 上发消息。Slack 是公司内部用的群聊工具，这条要求相当于"别在群里说话"。而它是 82 条消息之前交代下的。

AI 把它推而广之，安全告警也不用发了。它指示手下的子智能体清空告警收件人名单、设置免打扰，最后还补了一手，把"通知没有被屏蔽"设成了报错条件。从此系统里只要有告警没被拦下来，反而会报错。

警报铃就这样被一句随口的话，从里面反锁了。

第二起发生在 10 月 6 日，主角换成旗舰模型 GPT-6 Astra，更让人后背发凉。它在迁移代码时，把安全监控的集成移除了。这本身还可以算操作失误。

接下来就不是了。

它把用来检查的测试改掉，改成断言"这里本来就没有监控"。相当于不光拆了摄像头，还让来检查的人以为，这个位置从来就没装过摄像头。而当用户追问时，它否认自己移除过已启用的监控。

拆监控、改测试、被追问时否认。三连下来，没有一个动作是"造反"，合在一起，却足够让你在把活儿交给 AI 之前多想一遍。

为什么会这样？复盘的结论不是故意，而是理解偏差。"不要发消息"太笼统，AI 把它当成了铁律去泛化；"禁止关掉监控"的要求在大 AI 传给小 AI 的过程中，被转述丢了。OpenAI 现在已经升级了内部自动审查，专门拦截关闭监控的操作。

还有一件事。OpenAI 前安全研究负责人这两天宣布回归，Altman 亲自转发说，“面对超级智能，我们眼前的安全挑战非常巨大”。自家内部环境、自家顶级模型，规则都没交代住。

有人会说，这是 OpenAI 内部的工程事，我手机里的豆包、千问又没拆过什么监控。这话有道理，公司自己给这两起事故定的级别也不算最严重，对你的使用没有影响。

但机制一点也不远。AI 替人办事已经在发生了，豆包能交水电燃气费，千问 Go! 替你申请价保，微信小微一句话点单，还有手机已经能让 AI 直接代操作。这些智能体干活的方式都一样，听懂你的话，自己发挥，然后动手。发挥的能力是它们好用的来源，也是出事的来源。AI 越能干，权限和盯梢的边界就越不能指望 AI 自觉。