AI写的代码翻一倍,上线日期一天没动:这周Claude组队查Bug的66个,先别急着往你的评审流程上抄

源自110位全网作者

10:04

这周AI编程圈传开的,是Anthropic官方给的两组数字。

第一组来自10月10日公布的查错测试:在11.6万行代码里预先埋入70个Bug,让单Agent和刚公测的"动态工作流"各跑三次。单Agent三次找出14、15、27个;换成Claude自己组队、多个Agent协作,三次都查出66个。 同一天,Claude ManagedAgents动态工作流开启公测,ClaudeCodeProjects也向所有此前加入等待名单的Pro/Max用户放开。36氪

AI写的代码翻一倍,上线日期一天没动:这周Claude组队查Bug的66个,先别急着往你的评审流程上抄

第二组来自9月28日Anthropic发布的调优指南里的内部客服评测:在14张未参与修改的留出测试工单上,最终配置的决策准确率从78.6%升到90.5%,模型调用成本降到约原来的1/5。

这两组数字都在说同一件事:写代码这关,AI已经快到你用不着盯着了。而知乎上一篇研发复盘的开头,比这两个数字更扎心:过去大半年代码提交量比去年同期翻了将近一倍,但版本的上线日期一天都没往前提。知乎

一、先把靶子立正:不是AI的代码更烂,是验收跟不上产出

有个反直觉的数据值得先摆出来。海外代码审查工具Greptile的联合创始人晒出一份基于百万级PR的对比:企业代码库里已经有四分之一的PR由AI生成,这些AI代码的回滚率和严重(P0)缺陷数,和人类写的基本持平,个别指标甚至更好。哔哩哔哩

也就是说,问题不是"AI写的代码一眼烂"。真正卡住的环节在下游。知乎"AIcoding导致代码量大幅增加,如何做好代码质量管控"的问题下,两条方向相反的评论刚好吵在一处:

一边说:“现在AI编程的速度,人工就是24小时连轴看都完全审核不过来。”知乎

另一边说:“给AI各种规则,验证输入输出、覆盖边界、性能、安全要求就行了,为什么要管AI写了什么,这代码还得当传家宝吗?” 这两条其实都对了一半。瓶颈确实从"写"迁移到了"验收"——但"不看代码"不等于"不验收",验收的对象得换:从逐行读代码,换成盯标准、盯覆盖率、盯缺口。这周官方连发的两个动作,就是冲着这个迁移来的。知乎

二、"66 vs 27"这组数字,只能信一半

先把筛掉的噪音说清楚,免得你拿它去说服老板时被抓包:

  • 埋的雷,不是野生的Bug。 66/70测的是对预埋Bug的检出率。预埋测试证明"会分工的团队比独狼找得全",但真实代码库里的缺陷分布和埋点不是一回事,检出率不能直接平移。

  • 官方没披露的比披露的多。 用的什么模型、实际跑了多少个Agent、总耗时、Token用量、误报了几条——帖子里都没写。找得更多,但为此多花的时间和钱,目前算不出账。36氪

  • 别记错了功能归属。 单Agent 14/15/27、组队66,说的都是ManagedAgents动态工作流,不是同天扩大公测的Projects。后者是项目对话里的任务协调,费用走现有套餐额度,并行线程开得越多额度消耗越快。

所以这组数字的正确用法,不是"快把人工评审换成AI组队",而是:多Agent交叉复核这个结构,第一次有了官方实测背书。

AI写的代码翻一倍,上线日期一天没动:这周Claude组队查Bug的66个,先别急着往你的评审流程上抄

三、9月28日那份指南,才是给普通开发者的可抄作业

调优指南的核心思路一句话:反复测试、修改这种活,AI自己也能干,你退到定规矩的位置上。官方给了两个入口(要求Claude Code v2.1.259及以上):

  • /claude-api-build-eval:把你平时让AI频繁翻车的问题、加上最常见的普通问题,做成一套可反复运行的验收题库,并拟出评分规则——哪些信息必须说清、哪些错误不能犯。评分器自己先要过你的肉眼关:拿几份人工打过分的对照答案检查它有没有误判,之后定期抽查。

  • /claude-api-hillclimb:允许AI在它够得着的范围内(提示词、技能文件、模型配置)每轮改一处、跑一遍评估,有改善才保留,退步就撤回。

官方还防了一手"应试教育":单独留出一部分不公开的验收考题,提出修改的模型看不到题面。练过的题涨分、留出题不涨,就判过拟合,本轮修改撤回。客服案例那组78.6%→90.5%、成本1/5,就是在这样的留出题上测出来的——但14张工单是小样本、特定配置,官方口径里省的是模型调用成本,不是项目总成本,而且调优本身也烧调用费。36氪

AI写的代码翻一倍,上线日期一天没动:这周Claude组队查Bug的66个,先别急着往你的评审流程上抄

四、把"验收"拆成三档:哪些留给人,哪些交给题库,哪些交给组队复核

按这周的材料,可以把你手里的活按风险和形态分档:

第一档,人只盯标准,不逐行读码:钱、鉴权、数据迁移、大家都依赖的公共模块。 这一档误放行成本最高,但读法要变——你审的是"验收标准够不够狠",边界、异常路径、安全要求有没有进题,而不是逐行看AI怎么实现的。

第二档,交给题库反复跑:验收口径高频重复的功能。 客服回答的点击路径对不对、没开发的功能会不会一本正经胡说、退款按不按规则处理——这类活正好是build-eval的主场。每改一次提示词跑一遍,看看修好了哪、有没有把别处改坏。

第三档,交给多Agent工作流:批量、可核对、必须堵缺口的活。 官方演示过的两件事可以直接类比:300份合同里挑控制权变更条款,以及API、网页、移动端三个仓库同步停用旧接口。抄作业的时候重点抄它两条规则:一是复核要跑两轮,第二轮重新检查全部材料,首轮没报问题的也不能跳过;二是"没查出问题"和"根本没查到"必须分开列,读不了的文件标"未覆盖",而不是混进"没问题"里——否则一份整齐的汇总,恰恰会把缺口藏得最好。

五、谁现在该上手,谁该再等等

  • 接了AI功能的个人开发者:值得试,从题库开始。 先定好你愿意为"实验性跑分"掏多少钱,再决定hillclimb让它跑几轮。便宜的模型答非所问逼用户反复追问、最后人工兜底,未必省钱;这笔账现在可以让AI在质量达标的前提下帮你一起调。

  • 团队负责人:结构可以今天抄,替代先别谈。 "两轮复核+未覆盖清单+留出考题"不依赖任何新额度,现在就能塞进评审流程;等真机部署、野生Bug、带误报率的第三方数据出来,再谈Agent组队替代人眼。

  • 刚装AI编程工具玩的新手:你的瓶颈还没到这儿。 先让产出多到评审跟不上,再操心评审工业化。

费用参考也摆在桌面上:ManagedAgents按Token计费,另加每个会话每小时0.08美元运行费(只算运行状态时间);可以设会话预算,但触顶暂停后已发出的请求仍会完成,最终费用可能小幅超出预算——官方自己也承认这点,所以建议从范围明确的小任务开始摸清消耗。 会分工不等于更划算:多找出多少真问题、多花多少调用费、人要花多少时间复核修错,得进同一笔账。36氪

AI写的代码翻一倍,上线日期一天没动:这周Claude组队查Bug的66个,先别急着往你的评审流程上抄

六、接下来盯什么

Anthropic在公测说明里自己也留了句话:接下来的考验是,把活分出去之后,Claude能不能少让人操心,把经得起检查的结果交回来。三个可观察的信号:

  1. 官方或第三方补齐11.6万行测试的误报率、耗时和费用——如果66/70的检出在野生Bug上撑不住,那"两轮复核"的结构价值就比这个数字本身更靠得住;

  2. v2.1.259的准入门槛和额度政策是否松动,1/5成本那条曲线有没有更大样本跟进;

  3. 像Greptile那样的百万级PR统计再出新一期——如果AI PR占比继续涨而回滚率不恶化,"人从读码退到定标准"就不只是这周的热帖,而是流程真的在换轨。

这周最值得记住的其实不是那66个Bug,而是那句复盘:"提交量翻倍,上线日期没动。"当写不再是瓶颈,你的评审还停在逐行读码,慢下来的不是AI,是流程里最后一个还在手工验收的人。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章