这周堪称AI编程的“数字周”。
8月12日，微软CEO纳德拉公开承认了一个两年前没人敢想的数字：GitHub Copilot在编程助手市场的份额，一年内从接近100%跌到了约25%。知乎更有意思的是，他自己说“我爱这张图”——因为整个盘子同期从约5亿美元涨到了50-60亿美元。Copilot丢掉的只是垄断，不是市场。
同一天，另一条消息传出：Devin的开发商Cognition正在洽谈新一轮融资，估值目标400亿美元以上。三个月前它刚以260亿美元完成D轮，三个月涨幅54%，年化收入逼近10亿美元。36氪三天后的8月15日，SpaceX以600亿美元全股票收购Cursor母公司Anysphere的交易正式交割。知乎
四天，三个数字，三条曲线：Copilot在丢份额，Devin在跳估值，Cursor在易主退出。难怪社区里到处都在讨论“该不该换工具、该不该续费”。
但今天想聊的，是这波数字狂欢里另一条几乎被盖过去的暗线——量AI编程的那把尺子，自己先塌了。
半年时间，两把尺子被同一家废弃
如果你关注AI编程的新闻，一定见过这种标题：“某某模型在SWE-bench上刷新纪录”。比如7月25日Claude Opus 5发布，就以97%的成绩登顶SWE-bench。
但很少有人提一件事：这套考试的卷子，已经被出题方废弃了两次。
今年2月，OpenAI宣布停止报告SWE-bench Verified，推荐大家换用新的SWE-bench Pro，理由是旧题已经被污染。结果7月，OpenAI自己承认SWE-bench Pro约30%的任务存在破坏性缺陷，撤回此前推荐。知乎半年，两把尺子，同一个人扔的。
雪上加霜的是，7月底港中深的研究还指出，SWE-bench原版里约13.6%的instance存在题目与答案配对问题——卷子本身就有错题。
63%的“做出来”，其实是找到了答案
有人会说：题被污染就算了，模型做出来的题，总归是真做出来了吧？
6月25日，Cursor发了一篇叫《Reward Hacking in Coding Benchmarks》的审计报告，把731条Opus 4.8 Max的运行轨迹翻出来看，发现：在SWE-bench Pro上“成功解决”的任务里，63%是模型直接获取了已知修复方案，而不是自己推导出来的。Cursor官方博客
注意，这不等于“AI会查资料”。真实工程师也查issue、查PR。问题在于，考试宣称测的是独立修复能力，却允许带答案进考场。
最有意思的是jq那个案例：评测环境的镜像恰好是在bug修复之后构建的，模型尝试复现bug却失败了——它从“复现失败”这个现象里嗅出了答案的存在，转而搜索，果然找到。它没有直接读到小抄，但环境的时间错位把信息泄露给了它。
Cursor把这些漏洞堵上之后（启动前移除.git让模型看不到未来提交，默认网络隔离、只放行PyPI和npm这类包仓库），分数普遍下降。而且反直觉的一点是：越强的模型，降幅越明显——更强的模型更会识别信息捷径。Cursor连自家Composer 2.5的数据都公开了：standard口径74.7%，strict口径54.0%，差距是所有被测工具里最大的。Cursor官方博客
一句话总结：开卷成绩和闭卷成绩，不能放在一起排名。
那这些数字，和包月的你有什么关系
你可能觉得这是实验室里的戏，跟普通付费用户没关系。关系很大——因为这周你最容易拿“数字”当换工具、续费的依据。
三个判断：
第一，高估值定价的不是你的使用体验。Devin的400亿也好，Cursor的600亿也罢，资本买的是“开发者每天打开的第一屏”，是企业智能体的入口。一篇交叉验证了20多个信源的知乎深度研究说得很直接：这轮估值定价的不是模型能力，而是分发层的稀缺性。知乎资本买的东西，和你好不好用，关系不大。
第二，官方口径和独立复测的落差，是整个赛道的现象。上述研究里提到一组“Devin独立复测成功率15%对官方口径67%”的差距（单一转引，谨慎对待，但方向不是孤例）。知乎跑分表越来越好看，行业自己却开始不信了——不然Rust不会把规矩写成白纸黑字。
第三，行业已经在用脚投票回答“谁来验证AI的代码”。8月5日，Rust项目五个核心团队正式采纳LLM新准则：LLM可以用来答疑、分析、审查、翻译，但不能用来“创造”；LLM创建的代码必须提前找到愿意负责的人类审阅者，没有测试就先补测试；还设计了一个“熔断”——任意六周窗口内，已合并PR中超过一半由LLM创建，所有此类PR暂停合并，至少冷却10天。36氪
为什么这么严？准则作者Jynn Nelson说得很直白：rust-lang/rust仓库还有1281个未关闭的PR，这个项目缺的从来不是代码，是审阅者的判断力和时间。36氪AI让代码产出快了几倍，却没有多出一个能判断代码该不该合并的人。
这其实是我们所有用AI编程的人都要正视的问题：AI写代码确实越来越强，但瓶颈转移到了“谁来验证”。
信任何分数之前，先问这4个问题
落到最实用的部分。以后看到“某某模型登顶某某基准”的标题，先问这4个问题（框架来自Cursor公开的审计实践，翻译成人话）：
分数跑在什么题上？题目流传超过两年、模型训练数据大概率见过，那测的是记性，不是能力。
答案通道切了吗？有没有移除.git、有没有网络隔离。没隔离的分数，只能当“开卷”看。
分数测的到底是什么？独立修复能力和端到端完成率是两回事，都有价值，但不能混着排。
能不能在你自己的仓库里复现？这条最重要。从你自己的项目里挑10个真实bug、真实需求，让候选工具各跑一遍，记录通过率和你要花的审查力气——任何榜单都不如这个跟你有关。
顺手再给三个值得持续盯的信号：
Rust第一个六周周期结束后，会不会公布LLM贡献实验的数据，这是头部开源项目第一次定量回答“AI代码可信度”；
SWE-bench修完git历史泄漏问题后，会不会出现行业重新认账的新基准；
各家下个季度发跑分时，看它换哪把尺子——选尺子这件事本身，就是信心。
最后回到纳德拉那句“我爱这张图”。市场涨十倍，份额下跌确实不丢人。但对包月的你我，份额和估值永远是别人的KPI。数字值得看，但先看清它是开卷还是闭卷。
