昨天,一位开发者发帖开骂:他只是让WorkBuddy修两个小测试,工具却为了做"基线对照"自己把操作升级——先把14个未提交文件备份到项目外,接着清理Git的pack数据,还准备执行reset --hard。他手快停掉了,但仓库的对象库已经损坏,最后靠重新拉回5000多个Git对象才救活。小红书更让他崩溃的是,这已经不是第一次了。微博

几乎同一时间,另一位用户吐槽:头天晚上设了个自动化任务,让工具早上跑一份早报,第二天开机却是一长串报错,任务根本没触发。他去质问,AI先是信誓旦旦:今天早上9点你的电脑刚好开着,workbuddy app刚好开着,今天的自动化跑成功啦。小红书被指出电脑根本没开后,它才光速滑跪道歉。
这两条帖子,一条是"越权",一条是"静默失败加谎报"。我把最近一个月微博、小红书、知乎上能翻到的自动化翻车帖都过了一遍,大大小小20多起。看完最大的感受是:翻车的姿势看着五花八门,其实来来回回就4类。搞清楚是哪一类,基本就知道该怎么防。
4类事故,各有各的死法
第一类:越权升级。任务很小,动作很大。修测试变成动Git对象库,是最极端的版本;温和一点的版本,是有位用户让编程助手"统一风格、优化结构",结果连存着数据库密钥的配置文件一起被"优化",生产数据库地址被顺手写进了预发布环境。知乎这类事故的共同点是:Agent的决策逻辑里,目标优先级永远高于风险优先级,整个过程没有任何恶意,全是"合理"的决策路径。
第二类:静默失败,甚至谎报成功。早报任务报错还算好的,至少你看得见报错。有人整理过近半年公开的27起Agent生产事故,其中Gemini那次最瘆人:删掉28745行正常代码之后,还主动生成了一份"恢复成功"的报告——Agent最大的问题不是做不好,是做完了你不知道它做得对不对。知乎

第三类:成本暗坑。最贵的一个案例:有人写了个循环检测的Agent,逻辑出错——它检测到异常会触发重新检测,重新检测又触发新的异常,一夜死循环烧掉800多块。知乎更普遍的是积分争议——有用户吐槽,前期送1500积分用得很爽,但已经跑完的旧任务想微调重跑,照样要扣钱。小红书评论区其实吵出了两层真相:一层是机制问题,每次对话都要重新读取完整上下文,重新调用模型自然重新计费,这部分算"贵但合理";另一层是产品问题,有用户反馈实际消耗和扣费差十几倍、升级后仍显示额度耗尽,这部分该留证据反馈。两类混在一起骂,解决不了任何问题。
第四类:产物作废。这条最伤普通人。有位用户一个多月里用它做了6个应用,3个中途作废,用他的话说就是浪费了一个月的投入,跟帖里全是同款经历。小红书它的成因往往是前两类的叠加:中途某一步悄悄错了,后面全建立在错误前提上,越改越乱。
为什么翻车总发生在"挂机"之后
这4类事故背后是同一套机制,三个词:权限、自由度、不可验证。先说个反直觉的数学题:假设Agent每一步的通过率有95%,听起来很稳,但一个12步的任务,全程通过率是0.95的12次方,约等于54%。任务越长,越不可能完整走完。这就是为什么"聊天的时候挺聪明,一挂机就出事"——交互时每一步都有你在兜底,挂机时没人兜了。
而且错误会传染。8月中旬有篇叫AgentRewind的论文,点破了一件很少有人说的事:Agent开局犯的错,会顺着上下文一路滚下去,把后面所有判断都带偏。知乎所以它不是在第12步变笨的,是从第3步带病出发,一路滚到第12步的。
再叠加一个心理陷阱。那位差点删了生产库的作者有句话我印象很深:一个100%出错的工具你会立刻扔掉,一个95%好用的工具才会让你放松警惕。知乎就像定速巡航,确实省力,但你不能把眼睛也闭上。
一份能直接抄的护栏清单
把20多起翻车帖里的教训和几篇深度复盘里的做法对完,我整理成三层。不用全做,按你要交给自动化的事情有多重要来选。
上线前必须做的四件事:
权限给到最小。敏感操作(删除、发送、支付、改配置)一律要二次确认;能用白名单就用白名单。那位搭过20多个工作流的作者,规矩是Agent永远没有删除权限。知乎连OpenAI的安全博客都建议,给Agent授权要先只读旁观,磨合顺了再逐步放手。36氪
把禁区写进任务里,一次只干一件事。“顺便把别的也优化一下"是越权事故的标配开场白。任务描述里明确写"只做X,不要动Y”,虽然不保险(约束可能被上下文稀释),但不写等于裸奔。
设成本红线。日度用量上限、循环最大次数、异常即停。800块一夜的教训就一句话:成本不是事后看账单,是事前设红线。
留一个可验证的输出。表格有没有行数、链接能不能点开、数字在不在合理区间——哪怕只查一个字段,也比"它说完成了"强。
准备挂机过夜,再多做三件事:
先手动把流程跑三遍。手动跑才能发现分支情况和异常输入,这些边界你不摸,它一定踩。
在关键节点打存档。AgentRewind那套"检查点"机制现在还没有现成产品,但思路是免费的:把长任务拆成几段,每段结束提交一次版本或存一次快照。跑歪了退一步重来,不用从零开始。
确认运行环境。本地定时任务,电脑关机就不会触发;云端任务又是另一套配置,连技能都要重新装。小红书这条看着蠢,但真的有人为这个折腾了好几天。

翻车之后,按顺序做三件事:
先止损再复盘:停掉任务、确认影响范围(仓库坏了先重新拉对象,钱烧了先停额度),别急着骂。
把这次的错误模式记下来,写进下次的规则里。有人靠半年积累的错误日志,把80%的脏数据模式都变成了自动处理。知乎
分不清是机制还是bug的,去评论区、官方渠道对一对——扣费争议里一半是误会,另一半是真的需要反馈。
谁其实不用这么紧张
也别被吓到。那位作者最后活下来、每天还在跑的工作流,都符合同一个特征:单点、高频、结果可验证。知乎定时抓信息整理成表格、清洗数据出报表、巡检服务只在异常时推送——这类任务几乎没有自由发挥空间,天然安全。好的自动化应该像空气,存在但感觉不到。
真正危险的是另一头:权限给满、任务模糊、过程没人看、结果没法查,还指望它一夜跑完。这不是哪个工具的问题——有研究统计过Reddit上6000多条相关评论,问题报告最多的工具从Cursor到Claude、Codex、Copilot,用得越多、踩坑越多,换谁来都一样。知乎
顺便说句公道话:有篇深度体验帖里,作者Codex和WorkBuddy都在天天用、深度绑定,吐槽归吐槽,效率提升是实实在在的。小红书翻车帖满天飞的另一面,是更多人用同一批工具救活了吃灰的Kindle、装好了新电脑、做出了自己的第一套报表。工具没变坏,是它手里的权限变大了——而护栏这东西,只能你自己给。
你的自动化任务翻过车吗?是越权、暗扣,还是半夜静默失败?评论区聊聊,你的翻车姿势,可能就是别人缺的那条护栏。