一位独立研究者在对DeepSeek模型进行极限测试时，意外发现了AI界两个权威基准测试数据集GPQA和HLE存在大量系统性错误。这项发现不仅挑战了当前AI评测体系的有效性，更揭示了一个令人担忧的现实：整个AI社区可能正基于有缺陷的地图进行着价值数十亿的算力投入。
智能速览
GPQA和HLE数据集存在大量OCR录入错误和参数缺失问题
标准答案本身存在错误，迫使AI模型迎合错误答案才能得分
独立研究者通过暴力穷举还原了多道题目的正确形式
Reddit社区已成功复现部分验证代码
数据质量问题可能导致AI研究方向出现系统性偏差
精华内容
这场始于模型性能验证的研究，最终演变成对AI评测基准的全面审计。当研究者放下模型调优工作，拿起红笔对数据进行法医级检查时，发现的真相令人震惊。
诡异现象
在测试DeepSeek-Overclock模型性能时，研究者遇到了一个怪现象：模型在GPQA和HLE这两个号称"人类最难"的基准测试中表现异常。模型通过严密逻辑推导得出的正确答案，却被判为错误。经过仔细检查推理日志，发现模型并没有产生幻觉，而是标准答案本身存在问题。这就像做对了题却被判错分，模型被迫迎合人类的错误。
物理题惨案
一道统计物理题的标准答案是Z=4.61，⟨k⟩=1.66。但题目文本存在严重问题：参数缺失，逻辑不通。研究者编写程序暴力穷举了数百万种参数组合，最终还原出原题。真相令人咋舌：录入员漏抄了关键参数，导致题目无解。所有模型做不对这道题，不是因为不懂物理，而是因为不会心灵感应。
数学题乌龙
另一道复射影空间的数学题更加离谱。标准答案包含了几何上不可能的指数项。通过分析发现，这明显是OCR错误：教授手写的(n+1)(n+1)被误识别为(n+1)^(n+1)。这意味着，如果模型真的懂代数几何，就必须做错题才能得分。这种情况下，AI评测成了测谁的OCR纠错能力更强。
系统性问题
研究者仅验证了数学和物理等具备可计算性的题目，就发现如此多错误。那些依赖模糊语义的文科题，错误率只会更高。虽然出题专家水平很高，原题都是好题，但数据处理的工程流程极其不严谨。我们筛选出的不是"智力结晶"，而是"错误集锦"。
社区反响
这项发现在Reddit和Hacker News上引起了广泛关注。已有同行成功复现了部分验证代码，确认了问题的存在。虽然最初Reddit帖子被删除（后被版主恢复），但极客精神最终占了上风。社区开始重视这个问题，每多一个人知道基准测试有问题，人类在前沿探索上的浪费就会少一点。
这项研究揭示了AI发展道路上的一个重要隐患。当整个行业都在攀登所谓的"智力巅峰"时，我们可能只是在比拼谁更会猜错字。真正的智能不应是做"脑筋急转弯"，而是需要严谨、可靠的科学评测体系。这个发现或许会成为AI界自我革新的契机。
关键评论
下次能不能不要拿 Gemini 3 PRO 写了，这味儿太足了
我就是HLe里面的贡献者，HLE的问题很大，现在基本上每家都是自己的科学数据
我就是做模型数据的，我可以告诉你，所有做数据的都是草台班子，包括大厂
难以想象这种失误竟然才被揭露…亡羊补牢…
大家都愿意去做fancy的模型工作，benchmark就变成纯草台班子了，但是魔鬼在细节
