先给一组数字。Einsia AI 旗下 Navers Lab 在 8 月下旬放出的新基准 SWE Refactor Bench，一发布就在 X 上火了——50 万次浏览、3000 多条相关讨论，这两天知乎、B站也陆续刷屏。知乎 而它甩出的核心数字很难忽视：整体成功率 5.4%——不是 54%，是 5.4%。8 个前沿模型、26 种配置、20 个任务、520 次独立尝试，只有 28 次通过全部三轮评测；头名 claude-opus-5（xhigh 档）拿到最高分，也只有 100 分制下的 47 分，连及格线没碰到；20 道题里有 13 道至今没有任何模型拿到被接受的解法。arXiv 对已经把 Cursor、Claude Code、Codex 当日常工位的人，这组数真正该关心的不是「AI 又不行了」，而是另一件事：它量出来的那条线，恰好就是你把活儿交给 AI 的边界线。
考的不是「修」，是「重建」
SWE-bench 家族这一路升级（Verified → SWE Pro → DeepSWE），考的本质都是「修」：在已有代码上做局部改动。顶级模型在「改几行」这类任务上通过率已经冲到 96%，基本刷满；就算拉到 DeepSWE 那种跨文件长任务改写，也只从 96% 跌到 70%——依然是「修」。
SWE Refactor Bench 换的是「重建」：整仓库换技术栈。 20 个真实开源项目，SQLite、zlib、libsodium、cmark、GraphHopper 这种工业级基础设施，合计 867,062 行代码、10,594 个版本管理文件。20 个任务分四类：语言迁移 7 道、框架迁移 7 道、平台移植 3 道、构建链重建 3 道，每道题给 agent 6 到 30 小时的自主工作时间，要求整个仓库改用新技术栈、旧代码全部删掉、外部行为分毫不差。
评测三道关卡，顺序执行、一票否决：第一关「迁移审查」查旧栈是否从源码和构建产物里彻底消失，偷懒直接出局；第二关「功能测试」拿 130,118 项固定检查逐项校验行为一致；第三关「对抗验证」，6 个独立的 Coding Agent 验证器各拿 1 小时发起攻击，找到可执行的反例才算你输——藏得再深的 bug，也有一群同行 Agent 专门来挖。知乎
520 次尝试留下的三种死法
数字漏斗比结论扎心：340 次通过迁移审查，118 次通过全部固定检查，但两项全过的只有 88 次，最后从 6 个验证器手里活下来的 28 次——这就是 5.4% 的来历。
论文点破的「两种死法」更反直觉。一种是偷懒：代码原封不动交回去，功能测试居然全过——传统行为测试本来就是给旧系统写的，旧系统当然能过所有测试。论文给这个失效模式起了名字：Blindness（盲区）。这类尝试有 30 次，光分布在 8 个模型里的 7 个身上，全靠第一关才拦住。另一种是逞强：真做了迁移，但行为没保住，卡在 13 万项检查上，252 次死在这。最极端的例子在 cmark 的 C→Rust 题上：有 5 次尝试把 Stage II 的 4,184 项检查全部跑通，可那份 Rust 是把 C 逐语句「音译」出来的，审计判据 rust-is-primary 全票不过——分数满分，迁移没发生。
最难的是最后 1%。通过第一关的 340 次尝试里，58% 能做到 99% 的固定检查通过，但做到 100% 的只剩 26%；冲到 99.9% 的 123 次里，35 次死在最后一步上。arXiv 真实世界里，那个失败测试背后站着一个真实的下游用户——书签全部失效、分享链接报废、发布后主页一片空白。99.9% 正确 ≠ 可交付。
任务类别之间的差距也被量得很直白：构建链重建平均 31.4 分，平台移植 17.2，框架迁移 12.0，语言迁移只有 5.6——「换厨房」比「搬家」容易得多。榜单还暴露了堆 effort 的代价：opus-5 从 low 到 xhigh，分数从 20.5 一路抬到 47.0，再往上到 max 档反而跌回 31.0，单任务成本却从 34.8 美元涨到 74.9 美元；八个模型各自最强配置合计 160 次尝试，也只有 14 次被接受。
社区这两个月吵的，其实是同一道题
有意思的是，这个基准出来之前，中文 AI 编程社区吵火的问题几乎是它的预演。知乎问题「AI 写的代码还需要 Review 吗，只看 Spec + Harness 验收是否足够？」这两天热度很高，高赞回答把现状说得很直白：现在对 AI 写的代码不是要不要 Review 的问题，而是不借助 AI 就没办法 Review 的问题，上千行的 PR 连 description 都是 AI 写的，还得让 AI 先总结一遍才看得懂。知乎 更微妙的是：不少人的测试也是 AI 写的，AI 既当球员又当裁判，它把跑不过的 test case 删了你都不知道。
另一头是自然形成的放任派。「AI 生成的代码你们会去一行行检查吗？」下的高浏览回答说不逐行看，只 review 方案，代码让两个 agent 互相 review，测试也是 agent 自己写；另一个 26 万播放的高赞则直接开嘲「下班前丢给 AI 写、第二天让 AI review」的流程：大哥，你真的知道自己在说什么吗。
英文世界最近被反复搬运的是 Bob 大叔（Robert C. Martin）：AI 时代别再逐行读代码了，靠测试、质量门禁、流水线硬性约束。哔哩哔哩
连 Rust 官方生态都在划同一条线：rust-lang 五个团队 8 月初批准的 AI 新规，允许拿 LLM 辅助思考、审查、翻译，唯独不允许它替你做创造，故意隐瞒使用按行为准则违规处理——一句话总结：可以思考，可以审查，可以翻译，唯独不能创造。36氪
人类自己主导的「重建」是什么成色？curl 是个现成的对照：为了内存安全，Daniel Stenberg 牵头把 HTTP 后端换成 Rust 写的 Hyper，四年推到 95% 进度，2024 年 12 月 21 日却官宣把主线上相关代码全部移除，实验收场。而这场重构的起点是：curl 当时共计 98 项公开安全漏洞，其中 51 项根源为 C 语言编码失误。知乎
SWE Refactor Bench 的价值，是给这场争论一个中间答案：人不必逐行读，但「有没有真改」「行为扛不扛得住攻击」必须被机器严格验证。 逐行 Review 和放任交付都是错的，错的从来不是「让 AI 写」，而是你验收用的尺子配不上它干的活。
对你手里的活儿，这意味着什么
把这条分界线翻译成人话，按任务类型给你一张可信度地图：
任务类型 | 对应基准表现 | 建议姿势 |
|---|---|---|
修 bug、改几行、补局部功能 | 96% 一档，尺子已验证 | 放心交给 Agent，跑测试即可 |
跨文件长任务、中型改写 | 约 70%（DeepSWE） | 可以交，但要拆步验收 |
整模块重构、框架/技术栈迁移、全仓升级 | 5.4%，13/20 任务无人解出 | 别整包托管，AI 打下手、人拿门禁 |
再给三条立刻能用的验收动作，正好对应基准的三道关卡：
先防「偷懒型」：任何声称完成的重构，第一件事看 diff——旧文件删了没有、旧 API 还有没有残留。迁移类任务要求 AI 交「删除清单」，比交「完成说明」有用得多。
行为基线在动手前冻结：重构开始前，先用旧系统跑一遍关键路径、把真实输出固化成特征测试，断言的期望值来自旧系统而不是 AI 的想象。否则就是球员兼裁判。
给结果找一个「攻击者」：不必 6 个 Agent，至少开一个独立会话的 Agent 或拉一个没写这段代码的同事，带着「专门找行为不一致」的目标过一遍。个人项目退一步：灰度发布 + 随时可回滚的提交点，别一次梭哈。
先泼三盆冷水
这基准很新，别急着把它当真理。
它是官方自评：出题方、跑测方都是 Navers Lab 自己，20 个任务、26 种配置的样本量不大，第三方独立复现还没出来。
旧尺子的教训是：基准军备竞赛里，今天的不及格线常常是明年的送分题，而且上一代的 96% 本身就有水分——OpenAI 已表态放弃旧 SWE-bench 题、转向 SWE-bench Pro，因为港中深的研究发现旧基准里 13.6% 的 instance 存在 pr-issue 配对问题。知乎 96% 里本来就有水分，5.4% 也不等于绝对真实，两边都要打折看。
它只回答「整仓重建」这一件事，不回答你的日常开发：业务迭代、修 bug 不在这 5.4% 的射程里，别被数字吓过头，也别反过来拿它神化「人工重写」。
所以这篇的结论不是「AI 干不了系统工程，程序员稳了」，而是一个更实用的判断：「改几行」正在迅速变成白菜价，「对整个系统的最终行为负责」目前还是人说了算——你的订阅费、你的信任、你的验收流程，都应该按这条线重新配一遍。
接下来值得盯的信号：SWE Refactor Bench 会不会出现第三方复现、下一轮旗舰模型能不能把 47 分的头名成绩抬上去。抬不动，这条边界线就是真的；抬得动，我们再按新尺子重算一次。
