什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

AI写代码越修越烂的真相

阿里巴巴与中山大学联合开展了一项针对AI代码长期维护能力的实证研究。研究团队选取了100个真实的Python代码库,组织18个主流AI编码模型进行了为期233天的连续维护实验,平均每个模型提交71次。该实验旨在超越传统一次性代码修复的评测模式,重点考察模型在不回退前提下的持续迭代能力。
01核心数据表现:系统性维护能力缺失
实验结果显示,AI模型在长期代码维护中暴露出显著短板。75%的模型在修复过程中破坏了原本正常运行的代码,呈现出系统性、持续性的“越修越烂”趋势。绝大多数模型的“零回归率”低于25%,意味着每进行4次代码修改,至少有3次会对之前的功能产生负面影响。

评测指标对比

一次性修复能力
  • 针对特定Bug进行单次修复

  • 修复即视为通过测试

  • 忽略后续维护中的副作用

  • 容易鼓励短期讨巧的代码风格

持续迭代能力
  • 连续233天、71次提交的长周期测试

  • 严禁回退,必须保证历史功能正常

  • 考察代码全局上下文意识

  • 引入EvoScore惩罚短视行为

为了量化模型在长期维护中的真实表现,研究团队引入了EvoScore指标。该指标专门用于惩罚“短期讨巧”的代码写法,即那些在初次提交时能通过测试,但在后续维护中导致系统崩溃的代码策略。在这一指标下,许多在传统基准测试中排名靠前的模型排名大幅下降。
02模型对比分析:训练方法优于参数规模
模型表现梯队代表模型零回归率核心特征
第一梯队Claude Opus系列超过50%具备代码上下文意识,能预见改动影响
第二梯队GLM-5等表现尚可在部分场景下保持稳定
第三梯队其余参测模型低于25%缺乏长期维护能力,易引入新Bug

各模型在SWE-CI测试中的表现分层

研究发现,同一家厂商不同代际的模型表现高度一致。这一数据表明,决定代码生成质量的关键因素并非参数量的大小,而是训练方法的优劣。例如,Claude Opus并非参数最大的模型,但其通过特定的训练方法掌握了某种“代码上下文意识”,能够在修改某处代码时预判对其他模块的影响。
03行业痛点揭示:维护能力远重于生成能力
该实验戳破了当前AI编码领域的核心幻觉:能写出可运行代码并不等同于具备代码维护能力。在真实的软件工程中,约80%的工作量集中在维护阶段,而非从零开始编写。目前主流AI编码产品过度宣传“从零到一”的生成能力,却忽视了“从一到一百”的维护价值,而这恰好是当前AI最薄弱的环节。
  • 技术债积累风险
    缺乏全局架构理解能力的AI Agent,在改动代码时会加速技术债务的积累,类似让实习生直接修改生产环境代码。
  • 上下文感知缺失
    人类资深工程师的核心价值在于修改代码时的直觉与全局观,而多数AI模型尚不具备这种跨模块的连锁反应预判能力。

评论

评论区空态插画

当前文章无评论,是时候发表评论了