让Agent熬夜替我测了3个国产模型,有点意外
针对千问发布的Qwen3.6-Plus,一项针对国产大模型编程能力的系统化盲测评估近日完成。测试选取了Qwen3.6-Plus、GLM 5与Kimi K2.5三个模型,在不施加人工干预的前提下,对其编程、算法及系统设计能力进行考察。为确保评测的客观性,测试采用了Claude Sonnet作为独立评委,在不获知作答来源的情况下,依据五项子维度对模型输出进行打分。受限于生成长度限制,部分代码生成类题目输出被截断,可能对整体得分产生了一定影响。
| 题目维度 | 题目描述 | GLM 5 得分 | Qwen3.6-Plus 得分 | Kimi K2.5 得分 |
|---|---|---|---|---|
| 智能体 | 多步骤数据分析Agent | 11 | 21 | 9 |
| 智能体 | 代码审查Agent | 13 | 9 | 3 |
| 算法 | 最长递增子序列变体 | 36 | 32 | 13 |
| 算法 | 最短路径变体 | 39 | 38 | 26 |
| 算法 | 编辑距离扩展 | 27 | 16 | 0 |
| 跨语言 | 多语言同构实现 | 26 | 9 | 0 |
| 调试 | 并发Bug定位 | 35 | 42 | 17 |
| 调试 | 内存泄漏分析 | 44 | 34 | 33 |
| 前端 | SVG数据Dashboard | 9 | 6 | 0 |
| 前端 | 粒子特效 | 8 | 10 | 6 |
| 生成 | React看板组件 | 11 | 8 | 14 |
| 生成 | Python网页爬虫 | 10 | 12 | 0 |
| 生成 | Rust LRUCache | 12 | gen_03 | 11 |
| 逻辑 | 复杂逻辑推理题 | 15 | 0 | 7 |
| 数学 | AIME数论题 | 46 | 47 | 46 |
| 数学 | 概率期望计算 | 48 | 28 | 19 |
| 数学 | 组合优化问题 | 24 | 18 | 19 |
| 重构 | 遗留代码重构 | 30 | 30 | 30 |
| 系统 | 分布式限流器 | 16 | 20 | 6 |
| 系统 | 消息队列设计 | 1 | 21 | 9 |
三个模型在不同编程任务维度上的详细得分情况
01总体表现与核心优势
从总分矩阵来看,Qwen3.6-Plus在本次盲测中表现出较强的综合编程能力,特别是在Agent任务与代码调试方面优势明显。GLM 5则在算法实现与数学计算维度上保持了较高的水准,部分题目得分领先。相比之下,Kimi K2.5在算法与数学基础题上尚可,但在代码生成与系统设计类复杂任务中略显乏力。
模型核心能力PK
Agent与调试能力突出
多步骤数据分析Agent得分21分,显著高于其他模型
并发Bug定位得分42分,展现出强大的错误定位能力
消息队列设计得分21分,系统设计能力较强


算法与数学计算稳健
概率期望计算得分48分,为全场最高分
最短路径变体得分39分,算法逻辑严密
AIME数论题得分46分,数学基础扎实
02分维度能力深度剖析
在细分维度的较量中,各模型展现了不同的技术侧重。Qwen3.6-Plus在需要逻辑推理与上下文理解的Agent任务中表现抢眼,而GLM 5则在传统的算法与数学计算题中保持了高准确率。Kimi K2.5除部分生成任务外,整体表现相对平稳。
各模型擅长领域分布
算法与数学维度
GLM 5在此领域表现出极高的稳定性与准确率。
- GLM 5在算法类题目中多次获得最高分
- 数学计算题中GLM 5与Qwen3.6-Plus竞争激烈
- Kimi K2.5在基础算法题上尚有竞争力
Agent与系统设计
Qwen3.6-Plus在复杂系统构建与智能体任务上优势显著。
- Qwen3.6-Plus在Agent任务中全面领先
- 系统设计类题目Qwen3.6-Plus得分较高
- GLM 5在此维度表现中规中矩
代码生成与调试
Qwen3.6-Plus在Bug定位与代码调试方面展现潜力。
- Qwen3.6-Plus在并发Bug定位中得分最高
- GLM 5在内存泄漏分析中表现最佳
- 前端与生成任务受输出长度限制,普遍得分偏低
03评测总结
本次盲测结果显示,Qwen3.6-Plus在编程领域的综合能力,特别是涉及复杂逻辑与多步骤推理的Agent任务上,展现出了强劲的实力。GLM 5则延续了其在算法与数学计算上的传统优势。值得注意的是,由于测试中max_tokens设置为4096,导致部分长代码生成任务输出截断,这在一定程度上掩盖了各模型在长文本生成方面的真实潜力。总体而言,国产大模型在编程能力的不同细分维度上已形成差异化竞争格局。
当前文章无评论,是时候发表评论了