什么值得买App下载 App ›
连续签到专享现金活动

让Agent熬夜替我测了3个国产模型,有点意外

针对千问发布的Qwen3.6-Plus,一项针对国产大模型编程能力的系统化盲测评估近日完成。测试选取了Qwen3.6-Plus、GLM 5与Kimi K2.5三个模型,在不施加人工干预的前提下,对其编程、算法及系统设计能力进行考察。为确保评测的客观性,测试采用了Claude Sonnet作为独立评委,在不获知作答来源的情况下,依据五项子维度对模型输出进行打分。受限于生成长度限制,部分代码生成类题目输出被截断,可能对整体得分产生了一定影响。
题目维度题目描述GLM 5 得分Qwen3.6-Plus 得分Kimi K2.5 得分
智能体多步骤数据分析Agent11219
智能体代码审查Agent1393
算法最长递增子序列变体363213
算法最短路径变体393826
算法编辑距离扩展27160
跨语言多语言同构实现2690
调试并发Bug定位354217
调试内存泄漏分析443433
前端SVG数据Dashboard960
前端粒子特效8106
生成React看板组件11814
生成Python网页爬虫10120
生成Rust LRUCache12gen_0311
逻辑复杂逻辑推理题1507
数学AIME数论题464746
数学概率期望计算482819
数学组合优化问题241819
重构遗留代码重构303030
系统分布式限流器16206
系统消息队列设计1219

三个模型在不同编程任务维度上的详细得分情况

01总体表现与核心优势
从总分矩阵来看,Qwen3.6-Plus在本次盲测中表现出较强的综合编程能力,特别是在Agent任务与代码调试方面优势明显。GLM 5则在算法实现与数学计算维度上保持了较高的水准,部分题目得分领先。相比之下,Kimi K2.5在算法与数学基础题上尚可,但在代码生成与系统设计类复杂任务中略显乏力。

模型核心能力PK

Agent与调试能力突出
  • 多步骤数据分析Agent得分21分,显著高于其他模型

  • 并发Bug定位得分42分,展现出强大的错误定位能力

  • 消息队列设计得分21分,系统设计能力较强

算法与数学计算稳健
  • 概率期望计算得分48分,为全场最高分

  • 最短路径变体得分39分,算法逻辑严密

  • AIME数论题得分46分,数学基础扎实

02分维度能力深度剖析
在细分维度的较量中,各模型展现了不同的技术侧重。Qwen3.6-Plus在需要逻辑推理与上下文理解的Agent任务中表现抢眼,而GLM 5则在传统的算法与数学计算题中保持了高准确率。Kimi K2.5除部分生成任务外,整体表现相对平稳。

各模型擅长领域分布

算法与数学维度

GLM 5在此领域表现出极高的稳定性与准确率。

  • GLM 5在算法类题目中多次获得最高分
  • 数学计算题中GLM 5与Qwen3.6-Plus竞争激烈
  • Kimi K2.5在基础算法题上尚有竞争力
Agent与系统设计

Qwen3.6-Plus在复杂系统构建与智能体任务上优势显著。

  • Qwen3.6-Plus在Agent任务中全面领先
  • 系统设计类题目Qwen3.6-Plus得分较高
  • GLM 5在此维度表现中规中矩
代码生成与调试

Qwen3.6-Plus在Bug定位与代码调试方面展现潜力。

  • Qwen3.6-Plus在并发Bug定位中得分最高
  • GLM 5在内存泄漏分析中表现最佳
  • 前端与生成任务受输出长度限制,普遍得分偏低
03评测总结
本次盲测结果显示,Qwen3.6-Plus在编程领域的综合能力,特别是涉及复杂逻辑与多步骤推理的Agent任务上,展现出了强劲的实力。GLM 5则延续了其在算法与数学计算上的传统优势。值得注意的是,由于测试中max_tokens设置为4096,导致部分长代码生成任务输出截断,这在一定程度上掩盖了各模型在长文本生成方面的真实潜力。总体而言,国产大模型在编程能力的不同细分维度上已形成差异化竞争格局。

评论

评论区空态插画

当前文章无评论,是时候发表评论了