早上,花了一早上时间测试谷歌的Gemma-4,主要是和Qwen3.5做对比,跑了很多我们的生产中用的测试。结果:在同等大小的模型中,G4出现了输出json格式不对,写简单的python代码出现多出无效字符我的结论是,在小模型上,Qwen3.5已经是天花板。即使后面再有出新的模型,也不会有什么大的改进。小模型的竞争已经结束了,就这样了。
针对谷歌最新发布的Gemma-4模型,进行了一上午的实测,旨在评估其在同等参数规模下的性能表现。测试重点围绕生产环境中的实际应用场景,将其与通义千问Qwen3.5进行了深度对比。
01测试环境与对比对象
本次测试严格遵循单一变量原则,对比双方为Gemma-4与Qwen3.5的同等参数量级模型。测试集包含了生产环境中实际使用的多种任务,涵盖了结构化数据输出与代码生成两大核心维度,以确保评估结果的客观性与实用性。
02具体测试结果反馈
| 测试维度 | Gemma-4 表现 | Qwen3.5 表现 |
|---|---|---|
| JSON格式输出 | 格式错误,无法正确解析 | 格式标准,解析无误 |
| Python代码编写 | 出现无效字符,代码不可用 | 代码整洁,可直接运行 |
同等参数模型下核心能力对比
在结构化输出环节,Gemma-4未能严格遵守JSON语法规范,导致格式校验失败。在代码生成任务中,即便是简单的Python脚本编写,Gemma-4也输出了多余的无效字符,影响了代码的可用性。相比之下,Qwen3.5在上述测试中均保持了高标准的输出质量。
03测试结论与行业预判
基于本次实测结果,可以判定在小模型领域,Qwen3.5已经达到了当前技术的天花板。尽管未来可能会有新的模型发布,但预计在小参数量级上很难再出现突破性的性能提升。小模型赛道的竞争格局已基本定型,技术边际效应开始显现。
当前文章无评论,是时候发表评论了