97.9% 准确率,AI 敢动银行 60 年的祖传代码吗

把一段 COBOL 程序迁移成 Java、Python 或 Rust,同时保持原有业务行为不变,OpenAI 的新模型在高推理强度下能做到 97.9% 一致。

同一项评测里,上一代 GPT-5.6 Sol 的数字是 5.4%。差了十八倍,但真正值钱的地方不在这个倍数。

这组数字是怎么来的

OpenAI 10 月 20 日那份低资源编程语言报告里做了两套评测。

一套叫 MultiLangBench,让模型用 20 种语言从零写出一个兼容 SQLite 的数据库引擎,GPT-6 Astra 平均通过率 87.4%,上一代 26.8%;分语言看,COBOL 从 10.9% 到 72.1%,Fortran 从 21.4% 到 83.5%。

另一套更接近现实:把 COBOL 程序翻译成 C++、Java、Python 或 Rust,要求翻译之后原来的业务行为保持不变。

GPT-6.1 Sol 在低推理强度下准确率 86.6%,成本比上一代低 39%;推理强度拉高之后准确率到 97.9%,报告说这接近评测上限。

价格更低的 GPT-6 Luna 平均通过率 40.3%,API 成本估算比上一代低约 78%。迁移是成批量的活,这个价格项比分数更影响项目能不能立起来。

真正难的地方是验收标准

COBOL 是 1959 年出现的语言,今天仍在支撑银行、ATM、天气预报和核安全分析这类系统。它的语法是英语式的固定列格式,比今天任何一门主流语言都简单,所以难被替换的原因不在语法。

麻烦在语法以外:金额是定点小数,四舍五入的规则直接写在代码里;一批任务接着一批跑,前一批的输出就是后一批的输入;数据定义放在 copybook 里,和程序分开维护。你改一个字段类型,下游三个报表可能一起报错。

老系统迁移的验收就一直卡在这里。判断标准是行为一字不差,能证明它的东西是一套能自动跑起来的回归测试,而跑了二三十年的系统,手里大多没有这套东西。

用大模型也是同一个问题。GitHub 上 COBOL 的公开项目比 Python 少几个数量级,模型见过的样本薄,写出能跑的代码已经不容易,能不能保持原样还得另算。

AI 现在做的,其实是猜这段代码原来打算干什么。

比 97.9% 更值得看的是评测换了个考法

OpenAI 这次真正换掉的是考法。以前的代码评测问"你能不能写出来",跑通就算过;这次的迁移评测问的是另一件事,改完之后原来那套行为还在不在。

这个转向对企业更有用,它等于给出一套能自己照做的验证流程。

先把这段代码现在的输入输出录下来,攒成 20 到 50 条能自动跑的用例,没有用例就没有验收标准。然后拿最低推理强度跑一遍,只统计行为一致的比例,不管它代码写得多漂亮。一致率够高的模块再交给模型,专家复核写进流程。

这一步 OpenAI 自己也强调了:报告里明确说,把迁移结果用到生产环境仍需专家审查,还要结合具体业务规则和依赖关系做测试。

适用边界也得说清楚:这套流程适合输入输出明确的转换类、计算类模块。涉及并发、定时批处理、和外部系统强耦合的部分,用例覆盖不到,还是得靠人。

但也别急着乐观

97.9% 出现在高推理强度下,报告里说接近评测上限。高强度意味着更慢更贵,不是每段代码都值得这么跑;低强度下的 86.6% 才是大批量迁移时更现实的档位。

剩下的 2.1% 放在聊天应用里无所谓,放到账务系统里,可能意味着差几分钱。金融场景对这一点没有容忍度。

还有一个容易忽略的成本:知道"这段代码为什么这么写"的人。用例要人攒,业务规则要人讲,报告里那句仍需专家审查不是免责声明,是一张工作量清单。

我的判断是,AI 已经把"看懂老代码"这件事做稳了,接下来拼的是谁能先把验收标准建起来。没有用例的团队,97.9% 对它也没有意义。

你手上有没有那种"没人敢改"的老模块?它现在卡在没有用例,还是卡在没人说得清业务规则,留言说说,我挑几个一起拆。

作者提示含AI生成内容。作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～