张大妈

智谱GLM-5架构+跑分,3分钟讲清楚 #study #智谱 #智谱ai #AI #studyvlog

源自抖音:迪迪碎碎念

02-15 11:29

智谱最新发布的GLM-5模型在参数量翻倍的同时,通过架构创新实现了推理成本的精细控制。其核心升级在于注意力机制和MoE层的扩容,这让模型在多项基准测试中表现突出,甚至在部分领域超越了GPT-4.5和Claude等国际顶尖模型,展现了国产大模型的新突破。

智谱GLM-5架构+跑分,3分钟讲清楚
#study #智谱 #智谱ai #AI #studyvlog智能速览

  • GLM-5采用MLA+DSA注意力机制,显著提升推理效率。

  • 参数量增至744B,但通过MoE架构,单次推理激活仅40B。

  • 综合知识能力评测中,GLM-5成绩领先所有对比模型。

  • 智能体能力成为新战场,GLM-5在网页浏览任务中表现最佳。

  • MLA与MoE结合正成为行业主流技术路线。

智谱GLM-5架构+跑分,3分钟讲清楚
#study #智谱 #智谱ai #AI #studyvlog精华内容

智谱GLM-5的进步并非简单的参数堆砌,其背后是精巧的架构设计与对训练和推理成本的深刻理解。让我们深入其技术细节,探究它性能提升的真正原因。

架构三大升级

从GLM-4.7到GLM-5,架构并非简单放大,而是有三项关键调整。首先,注意力机制从主流的GQA升级为MLA(多头潜在注意力)与DSA(深度顺序稀疏注意力)结合,此举能大幅压缩KV Cache,在长上下文推理时更省、更快。

其次,MoE层显著扩容,专家数量从160个增至256个,输入维度也从5120提升至6144,知识容量大幅增加,但因每次仍只激活8个专家,推理开销增长有限。

最后,整体结构更“矮胖”,层数从92层减至78层,但每层更宽,Embedding维度增至6144,这有助于提升训练速度和并行效率。

核心能力跑分

架构升级最终体现在性能上。在代码能力(SWE-bench Verified)方面,GLM-5相较4.7有明显提升,但暂时略逊于Claude和GPT-4.5。

然而,在代表智能体能力的网页浏览任务(BrowseBench)中,GLM-5以75.9分超越所有对手,包括Claude的65.8分。在模拟商业场景收益的VendingBending Bench测试中,GLM-5相比前代增长显著,但Gemini Pro仍保持领先。

最亮眼的是在人类最后考试(Human’s Latest Exam)这类综合性知识评测中,GLM-5取得了遥遥领先的分数。

竞争格局洞察

GLM-5的出现标志着国产大模型与国际顶尖选手的差距已微乎其微,部分领域甚至实现反超。这背后反映出一个技术趋势:以DeepSeek和智谱为代表,MLA与MoE结合的技术路线正在成为行业共识,旨在以大参数、低激活的方式平衡效果与成本。

同时,一个明确的信号是,Agent能力,包括代码修复、网页浏览、工具调用等,正成为模型竞争的新焦点。谁能在应用层率先突破,谁就可能在下一轮竞争中占据优势。

智谱GLM-5的发布不仅是参数量的竞赛,更是架构优化的胜利。它证明了国产大模型有能力在核心技术上与国际巨头一较高下,并指明了效率与智能体能力是未来发展的关键。当技术壁垒逐渐模糊,下一个引爆点会是什么?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章