什么值得买App下载 App ›
连续签到专享现金活动

让Agent熬夜替我测了3个国产模型,有点意外

随着人工智能技术的快速发展,国产大模型在编程领域的应用日益受到关注。近期,针对Qwen3.6-Plus、GLM 5和Kimi K2.5三款主流国产模型的编程能力进行了一次深度测评。本次测试旨在通过系统化的盲测机制,客观评估各模型在不同编程任务中的实际表现,为开发者提供参考依据。
01测试环境与方法
本次测评在严格控制变量的环境下进行,GLM 5和Kimi K2.5通过百炼codingplan调用,Qwen3.6-Plus则通过Openrouter上的模型接口进行测试。测试过程完全由Agent自动执行,未施加任何人工干预,以确保结果的客观性。评测共包含20道测试题目,覆盖10个评测维度,满分设定为1000分,每题50分,并细分为5项子维度进行打分。
为保证评分的公正性,每道题目由Claude Sonnet模型担任独立评委。评委在不知晓作答来源的情况下,根据代码正确性、逻辑严谨性、完整性等5个子维度对三个模型的输出进行独立评分。值得注意的是,由于测试参数设置中max_tokens=4096较小,导致代码生成、前端开发、Agent构建及系统设计等需要长代码输出的题目出现截断情况,这在一定程度上影响了所有模型的最终得分。
02模型表现对比
模型名称调用方式测试特点主要限制
Qwen3.6-PlusOpenrouter表现超出预期,编程能力强劲受限于输出长度,长代码任务被截断
GLM 5百炼codingplan参与系统化盲测同样受max_tokens设置影响
Kimi K2.5百炼codingplan参与系统化盲测同样受max_tokens设置影响

三大模型测试环境与表现概况

评测结果显示,Qwen3.6-Plus在本次测试中表现出了较强的编程能力,其得分情况在一定程度上反映了该模型在代码逻辑生成和任务理解方面的优势。尽管所有模型均受到输出长度限制的影响,但在盲测机制下,Qwen3.6-Plus依然展现出了具有竞争力的性能水平。
03结论与分析
综合本次测评数据,Qwen3.6-Plus、GLM 5和Kimi K2.5三款国产大模型均具备一定的编程辅助能力,其中Qwen3.6-Plus的表现尤为突出。测试过程中发现的输出长度截断问题提示,在未来的实际应用或复现测试中,适当增加max_tokens参数或将能更准确地释放模型的全部潜力。本次测评报告最终由Qwen3.6-Plus自动撰写完成。

评论

评论区空态插画

当前文章无评论,是时候发表评论了