88%的漏洞报告达标、不经人工审核直接发:Anthropic本周把「验证活」正式交给AI——自测自改、免费扫漏洞、一折"手脚"跑循环,放开审查的手之前先算清这三笔账

源自378位全网作者

10:18

这周的 AI 编程圈有点不寻常:Anthropic 三天里连发三样东西,但出乎意料的是,没有一样是关于「让 AI 更快写代码」的,全都是关于「让 AI 接管验证」的。

10 月 7 日(美国时间),Haiku 5.5 发布,官方第一次把话说死:这款最便宜的模型不是用来替代 Opus 和 Sonnet 的,而是给它们当「子代理」的;10 月 8 日,官方发布调优指南,核心浓缩成一句话——「反复测试、修改这样的活,Claude 也能干」;同一天,OSS Scanner 上线,免费给开源项目扫漏洞,报告不经任何人工审核,直接发给维护者。

把这三件事串起来,能看到一条清晰的主线:写代码已经不是瓶颈,验证才是——而 Anthropic 正在试图把验证也交给 AI。要不要跟,先把这三笔账算清楚。

88%的漏洞报告达标、不经人工审核直接发:Anthropic本周把「验证活」正式交给AI——自测自改、免费扫漏洞、一折

第一笔账:为什么官方突然死磕「验证」?因为数据撑不住了

先看 OSS Scanner 发布博客里的一组数字:过去六个月,Anthropic 用最新模型扫描全球重要软件项目,发现超过 2.9 万个候选漏洞,但只能人工审查和分类约 6000 个。换句话说,超过 2.3 万个「可能是真的漏洞」堆在队列里发不出去——不是不想发,是人工验证的速度追不上。智东西

模型能力这一侧,变化更陡峭:在漏洞发现基准 CyberGym 上,大语言模型去年初只能发现不到 20% 的漏洞,今年已能发现超过 85%。瓶颈已经完全从「模型找不到」转移到了「人审不过来」。智东西

编程这边也一样。最近知乎上接连出现这样的提问:用了 AI 编程后,你写代码变快了,还是改 AI 代码更累了?还有:开始用 AI 写代码后,越来越不会自己排查 Bug 了,该停用一阵子吗?一篇知乎专栏的标题则更直白:AI 改进 AI 的速度,已经超过我们验证的速度。写代码省下的时间,全赔在调试和审查上——这是当下 AI 编程用户最普遍的痛感,也是本周三连发的共同靶心。知乎知乎

第二笔账:三个「处方」分别是什么,实际成色如何?

处方一:官方调优指南——让 AI 自测自改。这份指南的核心思路就一句:反复测试、修改这样的活,Claude 也能干。做法是把「别瞎说」变成「具体的考试题」:与其事后抱怨 AI 的代码不对,不如在开工前,把「怎样才算对」尽量写成可执行的测试,然后让 Claude 对着测试反复迭代。知乎

官方给的例子很接地气:用 Claude Code 做个小应用、接一个 AI 客服,让它自动回答「怎么登录」「会员服务有啥内容」这类问题,再对着测试用例反复调答案质量,直到达标为止。

但先泼一盆冷水:这是方法论,不是新按钮。别指望升级后界面上多出一个「一键调优」开关,改变的是用法:先写验收标准,再让 AI 开工。社区的实测反馈也值得听,知乎有回答是这么说的:现在各种 AI 编程软件里面都有自动调试的 agent,只不过有点烧钱,而且调试的不是很正确,所以最终还是要有预算。烧钱的原因很简单:自测自改的循环,每跑一轮都要调模型。这正是第三个处方要解决的问题。知乎

88%的漏洞报告达标、不经人工审核直接发:Anthropic本周把「验证活」正式交给AI——自测自改、免费扫漏洞、一折

处方二:OSS Scanner——漏洞报告不经人工审核直接发。机制是:开源项目自愿报名,Anthropic 用最强的模型(含 Claude Mythos)定期扫代码,报告完全由模型生成、不经任何人工审查,每份报告包含可独立运行的复现脚本、漏洞说明,以及可用的候选补丁。智东西

质量到底怎么样?早期验证中,专业渗透测试人员抽查了扫描器在 48 个项目里找出的 97 个严重/高危漏洞:85 个(88%)达到协同漏洞披露流程的标准;剩下 12 个里,11 个是真实问题但属于已知或重复,真正的误报只有 1 个。智东西

维护者的反馈更直接:wolfSSL 收到的 74 份报告里,除两份外都有效,其中 5 个进了 CVE。PostgreSQL 的核心维护者 Noah Misch 说,有几份报告附带的修复几乎可以直接使用,快速通道让他们在问题进入正式发布版之前就解决了它。OpenSSL 那边的评价是:「18 个月前的早期 AI 报告糟糕透顶,现在收到的报告,包括原始模型输出,已经和人工报告一样好,有时甚至更好。」知乎智东西

当然也有吐槽:部分发现的严重性评级可能偏高,或者扫描器误解了项目的威胁模型,官方也承认无法保证完全准确。截至目前,已有近 5000 份未验证报告被直接发给维护者——这正是维护者们自己主动要求的。符合条件的核心维护者,可以按官方模板向 GitHub 仓库提交 PR 报名。智东西

处方三:Haiku 5.5——官方任命的「手脚」,把循环成本打到一折。自测自改循环之所以「烧钱」,是因为每一轮都在调模型;而本周发布的 Haiku 5.5,短请求(不超过 10 万 token)的定价是:输入每百万 token 0.10 美元、输出 0.50 美元,比上一代整整便宜 90%。官方的定位也非常明确:一个典型的分工是,Opus 5.5 或 Sonnet 5.5 当「大脑」,负责理解需求、拆解任务和最终把关,Haiku 5.5 当「手脚」,去做搜索、读文件、做总结这类量大、重复的体力活。用 Claude Code 的话,把自定义子代理的模型设成 Haiku 就行,主会话的大模型只管关键决策。微博知乎

同一周,Sonnet 5.5 的缓存读取价格也砍半,官方估算能让大多数 Agent 任务的成本降低约 20%。Max 和 Team 订阅开始每月附赠一笔 API 额度,可以用在任意模型上。微博

88%的漏洞报告达标、不经人工审核直接发:Anthropic本周把「验证活」正式交给AI——自测自改、免费扫漏洞、一折

但 Haiku 5.5 的冷水也要泼足:它的编程能力仍是短板——据 VentureBeat 报道,Terminal-Bench 上 39.2% 的成绩是开到最高档跑出来的,默认档位下只有 20% 左右。官方自己也说,复杂的 Agent 编程任务,还是交给 Sonnet 5.5 和 Opus 5.5。所以「手脚」只能干体力活,别让它写核心逻辑。知乎

88%的漏洞报告达标、不经人工审核直接发:Anthropic本周把「验证活」正式交给AI——自测自改、免费扫漏洞、一折

第三笔账:验证交给 AI 之后,谁来验证 AI?

三个处方合起来,验证的供给被大规模放大(免费漏洞扫描)、验证的成本大幅下降(一折「手脚」+缓存价砍半)、验证的速度大幅加快(不用排队等人工)。但有一件事没变:AI 验证 AI,天生带着「自己出题、自己打分」的风险。测试是 AI 写的,代码是 AI 改的,两者可能完美契合,却一起错向同一个方向。

真金白银的案例本周也在流传:小红书一篇「AI 编程翻车实录」热帖显示,一个 AI 编程项目因定时器逻辑错误,最终收到 Cloudflare 高达 10811.41 美元的账单。能跑的代码不等于对的代码,验证缺位的代价从来不是抽象的。小红书

所以真正的问题不是「要不要把验证交给 AI」,而是「交到哪一步」。有个简单的分界线:机器可判定的部分——测试通过、类型正确、lint 干净、复现脚本能跑——放心交给 AI 循环;需要人类判断的部分——业务逻辑对不对、威胁模型立不立得住、钱会不会烧掉——检查的把手必须留在人手里。

不同人群,现在该怎么动

  • 开源维护者:OSS Scanner 免费,符合条件就报名。但报名前先自查两件事:补丁有没有合入流程,报告有没有人做 triage。没有的话,老老实实待在 CVD 人工通道里,别硬接消防水龙头——5000 份报告砸下来,接不住反而是灾难。

  • 个人开发者 / vibe coder:先学「考试题法」——让 AI 开工前,把验收标准写成可执行的测试(哪怕只是几个断言脚本),再让 AI 对着测试循环,并给循环设一个预算上限;搜索、读文件、做总结这类体力活,分包给 Haiku 5.5 子代理,把额度省给关键决策。

  • 团队用户:把 AI 自测自改装进 CI 关卡,而不是「在对话框里跑到 AI 说满意为止」;该开的供应链扫描(Dependabot 等)都开上;处理来自 AI 的安全报告时,遵循「随收随验」原则——OSS Scanner 的报告自带复现脚本,验证成本已经压到很低。

接下来值得盯的三个信号

一是 88% 的达标率能不能在规模化下发后稳住,未来几个月维护者社区的误报反馈是真正的试金石;二是 OpenAI 会不会跟进官方的自测自改方案——Codex 的 28 天更新计划还在推进(第 5 天已开始测试 composer predictions),验证类能力大概率是下一站;三是这类「验证能力」会不会打包进订阅权益——如果会,订阅的价签又得重写一遍。

总结一句话:本周这三件事的意义,不是「AI 可以替你审查了」,而是「审查这件事,大幅便宜了」。当机器可判定的活全部还给机器,人的判断力才终于值得花在刀刃上。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章