什么值得买App下载 App ›
连续签到专享现金活动

🔥 代码大模型被打回原形!斯坦福领衔最

斯坦福大学与Meta联合开源了代码评测基准ProgramBench,旨在测试大模型在复杂工程场景下的代码复刻能力。该研究选取了9款主流大模型进行测试,结果显示所有模型在应对真实开源项目时均表现不佳。
01评测背景与标准
ProgramBench由斯坦福大学与Meta的研究人员共同开发,包括John Yang、Diyi Yang、Ofir Press等在内的12位研究者参与了该项目。评测的核心目标是验证大模型是否具备自动化软件架构师的能力,特别是在处理复杂、真实场景下的代码任务时表现如何。
  • 测试集构成
    包含200个真实的开源项目,覆盖多种复杂工程场景。
  • 核心考察点
    重点测试模型的深度探测能力和模块化设计能力,而非简单的代码补全。
02测试结果与表现
模型名称测试结果表现简述
Claude Opus 4.7勉强通过在所有测试模型中表现最佳,但仍未达到理想标准
其他8款大模型全军覆没无法完成复杂代码的复刻任务

9款大模型在ProgramBench中的表现概览

测试结果显示,即使是目前公认的顶级模型Claude Opus 4.7,也仅能勉强通过测试。其余8款参与评测的大模型在面对这200个真实开源项目时,均未能有效完成任务,这表明当前大模型在处理复杂系统级代码时存在显著瓶颈。
03技术结论与分析

模型能力缺陷分析

缺乏深度探测能力

模型无法深入理解代码库的深层逻辑。

  • 在面对复杂调用链时,难以追踪变量来源和去向。
  • 对跨文件的依赖关系理解不足。
模块化设计能力不足

无法像人类工程师一样进行系统拆解。

  • 倾向于生成单一代码块,而非模块化结构。
  • 缺乏对整体软件架构的宏观把控。
综上所述,ProgramBench的评测结果揭示了当前大模型在自动化软件工程领域的局限性。尽管在代码补全和简单生成任务上表现优异,但缺乏深度探测和模块化设计能力的现状,使得它们目前还无法胜任自动化软件架构师的角色。这一发现为未来代码模型的研究指明了改进方向。

评论

评论区空态插画

当前文章无评论,是时候发表评论了