张大妈

通义Qwen3 Max 正式版 测评

源自公众号:大模型观测员

01-30 14:56

通义Qwen3系列以Max正式版收官,其推理模式下的中位分数在国产模型中表现突出,已追近北美第一梯队。本文通过深度测评,揭示其在幻觉抑制和指令遵循上的显著改进,同时也剖析其单位Token智力不足、编程能力偏弱等现存问题,为全面了解该模型提供一份详尽的参考。

通义Qwen3 Max 正式版 测评智能速览

  • 中位性能领先国产模型,直追北美头部梯队。

  • 幻觉抑制和输出稳定性获得显著改进。

  • 单位Token智力不高,是系列模型的明显短板。

  • 编程能力基本持平预览版,并非其发力方向。

  • 推理输出体量大,但能遵循指令给出精简答案。

  • 使用成本降低,百炼平台定价更便宜。

通义Qwen3 Max 正式版 测评精华内容

通义Qwen3 Max的正式发布,并非简单的版本号更新。它在核心能力上进行了针对性优化,尤其是在稳定性和逻辑推理方面,带来了肉眼可见的变化,同时也暴露了一些固有的局限性。

中位性能领先

在国产大模型竞赛中,Qwen3 Max正式版的表现可圈可点。其推理模式下的中位分数达到64.36分,将中位差距稳定控制在10%以内,这一成绩使其在国模中处于领先地位,并直追GPT-4o-mini等北美头部模型。虽然其极限分数(56.67)并非顶尖,但优异的稳定性确保了输出的可靠下限。

一个好消息是,尽管Token消耗有所提升,但百炼平台降低了定价,使得实际使用成本反而更为便宜,性价比得到提升。

稳定性显著增强

相较于预览版,正式版在幻觉抑制方面进步明显。对于#50日志分析这类复杂任务,正式版能稳定找出大部分关键信息,尽管受限于硬智力导致信息加工深度不足,但输出的可靠性大大提高。#42年报分析任务中亦表现出同样稳定性。

指令遵循能力也得到轻微改善。正式版下限更高,减少了偶发失智的情况,在多数直接指令问题上,能够连续多次输出几乎完全一致的答案。不过,当模型无法理解指令时,修改提示词比简单重试更有效。

固有短板犹存

单位Token智力不高是Qwen3系列一直以来的短板,正式版也未能解决。该数据仅比蚂蚁百灵略好,与顶尖模型存在差距。编程能力并非其发力方向,正式版表现与预览版基本持平,没有明显提升,且其较大的输出体量在驱动编程Agent时也无优势。

字符能力虽得到补足,达到了国模第一梯队水平,但与GPT-5等国际一流模型相比,其表现下限依然较低,稳定性有待加强。

输出冗长问题

Qwen3 Max在推理时倾向于进行详细的推导,甚至在正式输出中继续“打草稿”,导致最终回答体量通常在1000到3000字,可读性较差。这种详尽的输出有时会包含大量中间过程,对只想获取最终答案的用户不够友好。

不过,这一行为可以通过明确的指令来控制。当要求只能输出最终答案时,模型能够完全遵守,给出精炼的结论。这为用户根据不同场景灵活使用模型提供了可能。

通义Qwen3 Max作为系列的收官之作,凭借稳定的中位性能和改进的可靠性,在国产大模型中占据一席之地。尽管其单位智力、编程能力等短板依旧存在,但这次迭代无疑展现了通义团队的努力与方向。未来的下一代模型,能否彻底弥补这些遗憾,值得期待。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章