什么值得买App下载 App ›
连续签到专享现金活动

美机构对DeepSeek V4的测评:国产最强,落后前沿8个月

美国商务部下属机构CAISI近期发布了针对DeepSeek V4 Pro(以下简称V4)的测评报告。该测评旨在通过无数据泄露的独立基准,客观评估大模型的实际能力。报告显示,V4是目前CAISI测评过的能力最强的中国大模型,但其综合水平较行业最前沿的GPT-5.5仍落后约8个月。
01测评背景与防刷榜机制
鉴于大模型领域普遍存在的“刷榜”现象,即通过将测试集数据混入训练集来提高分数,CAISI采用了严格的防作弊机制。不同于业界常见的公开基准测试,CAISI引入了ARC-AGI-2半私有数据集及自研的PortBench软件工程测评基准。这两项基准均为未公开数据,确保了测试结果的有效性,避免了模型通过“背答案”获得虚高分数。
02核心结论:能力差距与性价比
根据CAISI的综合测算,DeepSeek V4的整体能力得分(Elo值)为800,与8个月前发布的GPT-5处于同一水平。相比之下,当前最前沿的模型GPT-5.5得分为1250,二者存在显著差距。尽管性能落后,但DeepSeek官方报告曾声称V4与最新发布的GPT-5.4及Opus 4.6基本持平,这一说法在CAISI的非公开基准测试中未被证实,V4在部分推理类与智能体类评测中表现偏弱。
在性价比方面,DeepSeek V4展现出显著优势。以综合能力相近的GPT-5.4 mini(Elo值749)为参照对象,在7项基准测试中,DeepSeek V4有5项的使用成本更低。其成本区间相比对标模型最低可节省53%,最高高出41%,整体端到端成本更具竞争力。
模型名称Elo评分发布时间定位主要特征
GPT-5.51250行业前沿各项评分中最强
Claude Opus 4.6999次前沿性能仅次于GPT-5.5
DeepSeek V4800落后8个月目前最强的中国模型
GPT-5.4 mini749成本优化型V4的成本对标对象

参评模型综合能力对比

03分领域详细测评
  • 网络安全
    DeepSeek V4在CTF-Archive-Diamond等基准上表现较弱,未达到顶尖水平。
  • 软件工程
    在未公开的PortBench基准中,V4能力有所欠缺,落后于西大前沿模型。
  • 抽象推理
    在ARC-AGI-2半私有数据集上,V4表现明显偏弱,未能通过高难度测试。
  • 自然科学与数学
    虽然在这些领域有不错表现,但整体准确率仍低于GPT-5.5和Claude Opus 4.6。
总体而言,DeepSeek V4虽然在部分非公开基准中暴露出推理能力的短板,但其作为国产模型的代表,在综合能力上已取得显著进步。特别是在性价比维度,V4为同等性能需求的用户提供了更具成本效益的选择。

评论

评论区空态插画

当前文章无评论,是时候发表评论了