GLM-5模型凭借在HLE评测中的高分引发关注,但实测发现其存在严重问题。通过实际测试,发现它在解答数学题时思考时间过长、成本高昂,导致实际应用价值大打折扣。这次评测揭示了当前AI评估体系可能存在的盲点,即忽略了响应效率这一关键指标,为用户提供了更真实的参考。
智能速览
GLM-5在HLE等评测中获得高分,引发市场关注。
实测中,GLM-5解答数学题思考时间极长,成本高昂。
单次回答成本预估达0.5元,且可能陷入无限思考无法完成。
与Gemini Flash等模型相比,响应速度存在数量级差距。
当前评测体系忽略了时间和成本这两个决定模型实用性的关键指标。
精华内容
一个模型的优劣,不应只看答案正确性,更要看得出答案的效率。当评测分数与实际体验出现巨大鸿沟时,问题出在哪里?让我们深入分析。
高分背后的隐忧
GLM-5模型在Humanity Last Exam(HLE)等评测榜单上取得了优异的成绩,但这背后可能隐藏着不为人知的问题。评测者在使用包含千道题的自有数据集进行实测时,发现了一个关键矛盾点:高评分并未转化为高效的解答能力,这引发了对评测体系本身的深刻思考。
无限思考的“数学题”
问题核心体现在数学题解答上。当面对一道不复杂的数学选择题时,GLM-5的思考过程(Token输出量)接近2万,却迟迟没有给出最终答案。在官方平台的测试中,模型陷入了近乎无限的思考循环,导致使用成本持续攀升,预估单次问答成本高达0.5元。这种表现让人质疑其算法的实用性。
效率与成本的巨大差距
对比之下,其他模型如Gemini Flash仅需几秒钟便能回答同类问题。GLM-5动辄数分钟的“思考”时间,在实际应用场景中是难以接受的。设想一场有时间限制的考试,当考生还在思考第一题时,考试可能已经结束。这种效率与成本的巨大差距,使其高分失去了实际意义。
评测体系的反思
这一现象暴露了当前AI评测体系的局限性。现有的评分机制过度关注答案的正确性,却严重忽略了响应时间和经济成本这两个决定模型能否落地的关键因素。一个真正优秀的模型,应该是准确性、效率和成本三者的平衡。未来的评测标准需要将时间维度纳入考量,才能更真实地反映模型的综合能力。
此次对GLM-5的实测,不仅是对单一模型的拷问,更是对整个AI评测体系的提醒。追求高分固然重要,但回归用户的真实需求,关注效率与成本,才是技术走向成熟的关键。未来的模型,我们究竟该如何衡量其真正的“智能”?
关键评论
终于有说实话了,打破了高分滤镜。
评分再高,实际用不了也是白搭,就像专家们不会用的VLA模型。
实测速度确实很慢,在需要快速响应的场景下根本没法用。
GLM系列好像一直有这个问题,很容易陷入死循环。