920亿参数只激活60亿?华为开源大模型让中小团队也能跑起来了
源自20位全网作者
07-07 14:54
精选参考来源
1
920亿参数正式开源,华为盘古2.0打响国产AI全栈第一枪
2
刚刚,华为开源盘古920亿参数的openPangu-2.0-Flash模型正式开源上线!
开源盘古openPangu 是华为开源AI模型品牌,致力于通过昇腾原生训练与推理技术,为业界用好昇腾提供最佳实践参考,助力打造Agent时代强大的智能底座,加快人工智能商业创新和生态繁荣。
核心参数——
总参数量:920 亿(92B)
激活参数量:60 亿(6B),采用稀疏 MoE 架构,实现高达 28:1 的稀疏比
上下文窗口:支持 512K 超长上下文
现在已上线首批组件,包括模型权重、基础推理代码及训推算子。openPangu-2.0-Pro 版本权重与代码将于 2026 年 7 月开源;预训练代码、后训练代码等其余组件将于下半年陆续开放。
该模型侧重高并发、低延迟场景,特别优化了鸿蒙体系下的 Agent 任务执行,适合在统一内存 64GB 级别的工作站或端侧设备流畅运行,无需依赖昂贵 GPU 集群。
#头号创作者激励计划#
全部
来源
来源
内容由AI生成
0
0
0评论
当前文章无评论,是时候发表评论了
提示信息
取消
确认
评论举报
已收藏
去我的收藏夹