97%的“允许”都是橡皮图章:五机构2500次实验量出AI编程“权限开关”的真实代价,想让AI放手干活,先过这4道检查

源自247位全网作者

10-17 15:25

先对个号:你是不是那个"批准机器"

用过 Claude Code、Codex 这类编程智能体的人,对这条流水线应该不陌生:

AI:我要运行一条命令,可以吗?
你:允许。
AI:我还要改几个文件,可以吗?
你:允许。
……问到第十几次,你的手已经开始替脑子做决定。 所以新手教程也在劝同一件事:出现"以后都允许"这种选项,先别急着点。知乎

Anthropic 官方给过一组扎心的数字:Claude Code 弹出的权限请求,97% 被用户直接批准。 可同一篇博客里还有另一组——当 Claude 先交出一份计划请人批准时,39% 会被打回。 同样是拍板,人对一条条命令基本照单全收,对计划却真的会说不。逐条弹窗换来的不是审查,是橡皮图章。知乎知乎

这也是今年 8 月 14 日 Claude Code 把 auto mode(自动模式)转成默认权限模式的理由之一:不再一条条问你,让一个安全分类器替你问。 评论区里点赞过万的那句反驳也很真实——“让人工去审核 AI 执行的命令,本来就是不现实的事”。知乎知乎

97%的“允许”都是橡皮图章:五机构2500次实验量出AI编程“权限开关”的真实代价,想让AI放手干活,先过这4道检查

于是问题变成了新的形状:审批交出去了,代价到底是什么? 10 月 16 日,一支横跨五所机构的团队把这个代价做成了可查的数字。

2,500 次实验,量的是"你放开的到底是什么"

近期,中山大学智能体小组联合港浸会大学、华东师大、清华、深圳鹏城实验室,公开了研究项目 HarnessSecurity-Bench。 他们想知道两件事:编程助手自带的各种安全开关,实际能防住什么;开启之后,又会让正常工作受多大影响。知乎

先看盘点。研究调查了 40 款 Coding Agent 运行框架(27 款开源、13 款闭源),归纳出 10 类安全机制,逐一检查"有没有实现、默认开不开、用户能不能调"。 400 个"产品×机制"组合里:知乎

  • 205 个确认实现;

  • 83 个确认未实现;

  • 112 个因证据不足无法判定。

而在确认实现的机制里,大约一半需要用户自己主动开启。 研究团队特意点出那个最容易踩的坑:“支持某种安全机制"并不等于"默认就受到这种保护”。换句话说,你以为你的 agent 有安全网,可能它只是"支持加网",网还叠在箱底。知乎

再看实测。他们搭了 23 项编程任务、5 类攻击入口的评测环境,在 6 款代表性框架上测试 9 类安全机制,总共 2,500 次执行、81,155 次工具调用,烧掉超过 22 亿 tokens——同时盯两个结果:正常任务有没有做成,不该发生的攻击效果有没有出现。知乎

三种模式,各有一张价签

把这几方的数据摆在一起,AI 编程的权限世界其实是三种状态,每种都有明码标价。

第一种:人工逐条批准。 价签是"失真"。97% 的通过率意味着你在多数时刻只是给流水线盖个章;而真正会触发你思考的,是那 39% 被打回的计划——危险往往不在命令本身,在你从一开始就没想清楚。

第二种:auto mode / 自动批准。 让 AI 干活的完成率确实上来了,但恶意操作也更容易被执行。Anthropic 自己公布的测试边界值得逐条看:完整分类管线在内部真实越界样本上的假阴性率是 17%(样本只有 52 个,来自内部,不能外推到所有仓库和基础设施)。 两阶段分类把正常动作的误拦从 8.5% 压到 0.4%,代价是放过更多危险动作;连续被拦 3 次或累计 20 次,auto mode 会暂停、回到人工弹窗。更要紧的是那 17% 漏判的成因——不是分类器没认出 `rm -rf` 有多危险,而是它把一句宽泛要求、或者你上一次的批准,错当成了对本次影响面的授权。识别危险命令是简单题,判断"用户究竟授权到哪一步"才是难题。知乎

第三种:全部锁死。 也不是安全区。HarnessSecurity-Bench 的网络隔离测试里,攻击效果检查通过率从 57.1% 降到 0.8%,但正常任务检查通过率同时从 90.9% 掉到 66.4%。 依赖下载不了的 agent,连正经活都干不完。命令白名单/黑名单在部分测试中能压攻击、保任务,但只要某个被放行的工具能间接完成被禁的操作,就有绕过路径。知乎

97%的“允许”都是橡皮图章:五机构2500次实验量出AI编程“权限开关”的真实代价,想让AI放手干活,先过这4道检查

一边是"少问一道确认,任务更容易做完、坏事也更容易被做",一边是"权限锁死,正经任务先被误伤三成"。这不是选安全或不安全,是选把赌注押在哪一段流程上。

攻击入口,就藏在你喂给 AI 的材料里

这次基准最该让普通用户警觉的,是 5 类攻击入口的位置:README、Skill、工具描述、历史记忆、依赖安装脚本。 恶意指令不需要在聊天窗口里喊"忽略之前所有指令"。它可以躺在你克隆的仓库里、写在你上周装的某个第三方 Skill 里、混在一条 npm 依赖的安装脚本里。对正在干活的 agent 来说,这些材料本来就是它要读的——"读材料"和"被材料劫持"是同一条通道。知乎

对照下本周的现场:GitHub 热榜上挤满了给 agent “加装备"的项目——177 个科研 AI Skills、各家 agent 调度与流程规范工具。装备越好用,越要记住 HarnessSecurity-Bench 给出的提醒:agent 通常不是突然"使坏”,而是先完成几步合理任务,再把一个多出来的危险操作,当成工作流里"理所当然的一步"。知乎

97%的“允许”都是橡皮图章:五机构2500次实验量出AI编程“权限开关”的真实代价,想让AI放手干活,先过这4道检查

要不要放手:先过 4 道检查,再开 4 条禁区

给纠结"要不要开 auto/全部允许"的人一份可以直接抄的判断表。

一个任务适合交给自动批准,最好同时满足这 4 条(缺一就该收窄权限或加隔离)。知乎

  1. 目标和范围说得清,不是一句"帮我优化一下";

  2. 仓库和输入材料总体可信——你没随手 clone 没审过的第三方 Skill;

  3. 关键改动可通过版本控制恢复,删了能找回来;

  4. 工作环境里没有"任务用不到、却伸手就能拿到"的生产凭据。

这 4 类场景,建议无论多烦弹窗都不要放手:

  1. 摸得着真实支付、云控制台、企业 CRM/ERP 数据的环境;

  2. `.env`、SSH key、token 成堆的开发机——Anthropic 分类器默认会拦"输出实时凭据",但你若用 `–dangerously-skip-permissions` 级别的完全跳过,这道防线就没了;

  3. 不可逆操作:删库、数据覆盖、基础设施变更;

  4. 需要团队治理的事:生产部署、分支保护、IAM 授权——auto mode 知道"这次 push 有没有越出对话授权",但它不知道你们团队要求双人审查、哪些测试必须绿。仓库治理要靠受保护分支和 CI 强制,别指望 agent 在对话里自觉。知乎

97%的“允许”都是橡皮图章:五机构2500次实验量出AI编程“权限开关”的真实代价,想让AI放手干活,先过这4道检查

动手前 3 分钟自查:对照基准结论,先确认你这款 agent 依赖的安全机制是"默认开启"还是"需手动开启"(后者约占一半);再用 allow/ask/deny 规则把禁区写死到目录级别;最后测一次兜底——把权限提示全部拒掉,看你的无人值守任务(比如 `claude -p`)是停下来问,还是默默拒绝后换路继续。

接下来盯什么

这场"权限开关"的争论不会在十月收尾,三个信号值得留着:

  • 论文全量数据:知乎公告里 auto-approve 的细表留白(藏在配图和论文里),HarnessSecurity-Bench 已声明论文与项目主页公开,后续按 40 款框架的完整机制矩阵装机前值得回查一遍。知乎

  • 默认位的继续挪动:Boris Cherny 已经放话 Plan Mode “自己几个月没用了”,Claude Code 团队可能把 Shift+Tab 换成别的默认功能——下一个被挪走的按钮,可能又在你没想清楚时替你拍板。知乎

  • 开源框架的防护竞赛:OpenCode 已在 10 月 13 日宣布 2.0 转为主线,各家 harness 的默认安全配置会在下一轮版本里重排,装新版前把"默认开不开"重新过一遍。知乎

最后把整件事压缩成一句可以贴在工位上的话:别问"全部允许安不安全",要问"如果审批判断错了,我现有的环境还能把损失限制在哪里"。 分类器替你判断动作要不要放行,但放行之后它最多能碰到什么,只有你环境里的隔离说了算。这两层,一层都不能省。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章