AI写九成代码,回滚率反降四成:Claude Code公开审查方法

源自215位全网作者

08:58

做编程AI的公司,自己的代码早就有九成是AI写的了。微博微博

AI写九成代码,回滚率反降四成:Claude Code公开审查方法

上周,Claude Code团队公开了内部的代码审查做法,信息量不小:Anthropic全公司代码库,9月一天要合并三万多次修改,5月这个数字还只有2500次左右。从6月到9月,合并的修改量翻了一倍多,需要回滚的比例反而降了四成多。36氪微博

AI写九成代码,回滚率反降四成:Claude Code公开审查方法

看的人少了,错反而少了。怎么做到的?

一摞带洞的奶酪

团队方法的核心思想朴素得可笑:把每道检查想成一片瑞士奶酪。每片都有洞、都会漏,但几片叠起来,洞很难对齐,错误想一路穿透就难了。最底下再铺一张网,真漏了也能快速捞回来。微博

AI写九成代码,回滚率反降四成:Claude Code公开审查方法

第一片奶酪在提交代码之前:Claude写完代码,要自己跑测试、编译、过规范检查,光说"做好了"不算数;然后再派一个没看过写作过程的新Claude单独审一遍——像作文写完,请一个没在场的同学挑错。

进了CI流水线后,多个AI同时找问题,再由另一组AI投票,票数够了才算真问题。这套机制刚在内部上线时,收到实质意见的代码申请比例,从16%涨到了54%。微博

人看不看?看风险

一个分类器读完修改内容来定档:改文案、藏在功能开关后面的新特性,自动检查全过就不用人批;普通改动要一个人批;风险最高的代码要两个人批。另有两条铁律:AI的批准不算人的批准;谁让AI写的代码,谁就算一个审查人,要为结果负责。微博

AI审AI,差点走火入魔

这套系统也翻过车。有一份申请一夜之间审了改、改了审,来回五十多轮,直到作者手动叫停。一查,审查AI反复揪住的问题,约59%是第一轮就存在的老代码——人看到这种鸡毛蒜皮几秒就跳过,AI却会老老实实去改,于是又多出一轮审查。微博

后来他们立了规矩:最多审三轮;三轮之后请作者退一步想想思路对不对;后面的轮次只审新改的部分。结果一轮通过的申请从65%涨到78%,要五轮以上的从8.9%降到1.5%。微博

他们还维护一本"错题本":把过去闯过祸的修改收集起来,让审查AI每天重做一遍,改提示词、换模型,分数涨了才留下。每出一次事故,错题本多一道题,奶酪上的洞就补一个。

AI写九成代码,回滚率反降四成:Claude Code公开审查方法

换个牌子的AI,裁判更靠谱

Meta最近一篇论文殊途同归:让两个不同的编码代理互审补丁,比给一个代理更大预算更能抓住无声bug。同一任务混用Claude Code和Codex,完全正确补丁的比例从45.8%提到62.5%。微博arXiv

原因很直白:同一家产品的模型会犯一样的错,审查几乎抓不到什么;换一家,错误不相关,网才兜得住。微博

你今天就能抄的三件事

  1. 给项目写一份CLAUDE.md,讲清怎么跑测试、有哪些红线,这是给AI的说明书;

  2. 交代码前跑一次/code-review,让新会话来审,别让写代码的AI自己当裁判;

  3. 条件允许,让另一家模型来review。

AI写九成代码,回滚率反降四成:Claude Code公开审查方法

最后泼盆冷水:以上数字都是Anthropic团队自己公布的,只是一个团队的做法,照抄未必能复现。但方向值得参考——人的价值正在从"逐行读代码",挪到机器做不好的判断上:这事该不该做、哪里危险、出了事谁负责。微博

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章