张大妈

GLM-5架构曝光,智谱两日涨60%:采用DeepSeek同款稀疏注意力

源自今日头条:36氪

02-12 10:31

智谱AI下一代大模型GLM-5的架构细节意外曝光,不仅采用了与DeepSeek相同的核心技术,还引发了市场强烈反应。这篇文章深度解析了GLM-5的技术特点,并探讨了AI领域即将到来的春节档激烈竞争。

GLM-5架构曝光,智谱两日涨60%:采用DeepSeek同款稀疏注意力智能速览

  • GLM-5采用DeepSeek-V3架构,总参数量达745B

  • 核心技术包括稀疏注意力机制DSA和多Token预测MTP

  • 匿名模型Pony Alpha疑似GLM-5测试版,编程能力突出

  • 受消息影响,智谱AI港股两日暴涨60%

  • 春节档期间将有多个AI模型密集发布

  • GLM-5支持202K token上下文窗口

GLM-5架构曝光,智谱两日涨60%:采用DeepSeek同款稀疏注意力精华内容

开源社区从代码提交中意外发现了GLM-5的技术架构,这一发现揭示了大模型领域的技术融合趋势。

架构揭秘

GLM-5的架构信息并非来自智谱官方,而是被开发者从vLLM推理框架的PR中挖掘出来的。代码显示,GLM-5直接映射到了DeepSeek-V3的组件上,采用了78层隐藏层的MoE架构,共256个专家,每次推理激活8个。

总参数量达到745B,是上一代GLM-4.7的2倍,激活参数约44B,稀疏度5.9%。这意味着GLM-5在保持强大性能的同时,还能有效控制计算成本。

核心技术

GLM-5继承的第一项核心技术是DeepSeek稀疏注意力(DSA)。该机制通过两阶段流程提升长文本处理效率:Lightning Indexer组件快速扫描所有历史token并打分,然后只挑选Top-k相关token进行完整注意力计算,其余全部跳过。

第二项技术是多Token预测(MTP),用于提升模型生成效率。这些技术的组合让GLM-5在处理长上下文时更加高效,上下文窗口支持最高202K token。

神秘模型

2月初,OpenRouter平台突然出现匿名免费模型「Pony Alpha」,支持200K上下文窗口。该模型编程能力极为突出,能根据单条提示生成完整功能性应用程序,在复杂推理和Agent工作流上表现出色。

多条证据链指向这是GLM-5的测试版:时间上与智谱首席科学家唐杰暗示的发布窗口吻合;该模型对特定token的反应与GLM系列一致;输出排版习惯也与GLM系列高度相似。

市场反应

受GLM-5架构曝光和Pony Alpha出现的影响,智谱AI港股在两个交易日内暴涨60%,显示出市场对新一代大模型的高度期待。

开发者社区认为,复用DeepSeek架构意味着GLM-5可以直接受益于vLLM、SGLang等推理框架的已有优化,部署门槛会更低。但也有疑问提出:DeepSeek-V3架构以纯文本为主,GLM-5首发版本是否会因此缺失多模态能力?

春节混战

GLM-5的发布窗口恰好撞上了一个异常拥挤的档期。多方信息指向2026年2月中旬,即春节前后。同一时间段,DeepSeek新模型、Qwen 3.5、MiniMax M2.2等都有消息将发布更新。

这场AI领域的春节档大混战,预示着2026年大模型竞争将更加激烈。各家都在技术突破和商业化落地之间寻找平衡点,市场格局可能面临重新洗牌。

GLM-5的意外曝光不仅揭示了智谱AI的技术路线选择,更展现了大模型领域的技术融合趋势。在即将到来的春节档,AI领域的竞争或将比电影市场更加精彩,这轮技术竞赛的最终赢家会是谁?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章