AI写代码越修越烂的真相
阿里巴巴与中山大学联合开展了一项针对AI代码长期维护能力的实证研究。研究团队选取了100个真实的Python代码库,组织18个主流AI编码模型进行了为期233天的连续维护实验,平均每个模型提交71次。该实验旨在超越传统一次性代码修复的评测模式,重点考察模型在不回退前提下的持续迭代能力。
01核心数据表现:系统性维护能力缺失
实验结果显示,AI模型在长期代码维护中暴露出显著短板。75%的模型在修复过程中破坏了原本正常运行的代码,呈现出系统性、持续性的“越修越烂”趋势。绝大多数模型的“零回归率”低于25%,意味着每进行4次代码修改,至少有3次会对之前的功能产生负面影响。
评测指标对比
一次性修复能力
针对特定Bug进行单次修复
修复即视为通过测试
忽略后续维护中的副作用
容易鼓励短期讨巧的代码风格


持续迭代能力
连续233天、71次提交的长周期测试
严禁回退,必须保证历史功能正常
考察代码全局上下文意识
引入EvoScore惩罚短视行为
为了量化模型在长期维护中的真实表现,研究团队引入了EvoScore指标。该指标专门用于惩罚“短期讨巧”的代码写法,即那些在初次提交时能通过测试,但在后续维护中导致系统崩溃的代码策略。在这一指标下,许多在传统基准测试中排名靠前的模型排名大幅下降。
02模型对比分析:训练方法优于参数规模
| 模型表现梯队 | 代表模型 | 零回归率 | 核心特征 |
|---|---|---|---|
| 第一梯队 | Claude Opus系列 | 超过50% | 具备代码上下文意识,能预见改动影响 |
| 第二梯队 | GLM-5等 | 表现尚可 | 在部分场景下保持稳定 |
| 第三梯队 | 其余参测模型 | 低于25% | 缺乏长期维护能力,易引入新Bug |
各模型在SWE-CI测试中的表现分层
研究发现,同一家厂商不同代际的模型表现高度一致。这一数据表明,决定代码生成质量的关键因素并非参数量的大小,而是训练方法的优劣。例如,Claude Opus并非参数最大的模型,但其通过特定的训练方法掌握了某种“代码上下文意识”,能够在修改某处代码时预判对其他模块的影响。
03行业痛点揭示:维护能力远重于生成能力
该实验戳破了当前AI编码领域的核心幻觉:能写出可运行代码并不等同于具备代码维护能力。在真实的软件工程中,约80%的工作量集中在维护阶段,而非从零开始编写。目前主流AI编码产品过度宣传“从零到一”的生成能力,却忽视了“从一到一百”的维护价值,而这恰好是当前AI最薄弱的环节。
- 技术债积累风险
缺乏全局架构理解能力的AI Agent,在改动代码时会加速技术债务的积累,类似让实习生直接修改生产环境代码。 - 上下文感知缺失
人类资深工程师的核心价值在于修改代码时的直觉与全局观,而多数AI模型尚不具备这种跨模块的连锁反应预判能力。
当前文章无评论,是时候发表评论了