张大妈

中国AI突破:GLM-5在昇腾实现成本减半

源自新浪微博:一图复盘尚

03-04 15:44

中国AI发展迎来突破,GLM-5大模型在昇腾算力上实现高效部署。实测显示,单机性能对标H100双机,部署成本减少50%,验证了自主可控路线的可行性。这为国产AI产业提供新视角,解决算力依赖问题。

中国AI突破:GLM-5在昇腾实现成本减半智能速览

  • GLM-5在昇腾上首次实现W4A8混合精度量化。

  • Atlas 800T A3单机部署性能对标H100双机。

  • 长序列、低时延场景部署成本减少50%。

  • 国产大模型与算力实现自主可控。

  • 华胜天成等公司深化昇腾合作。

中国AI突破:GLM-5在昇腾实现成本减半精华内容

GLM-5与昇腾的结合,标志着中国AI自主之路的重要里程碑。

技术突破

GLM-5大模型在昇腾平台上首次实现W4A8混合精度量化技术。这一优化使得模型能够在Atlas 800T A3单机上高效运行,实测开箱性能直接对标NVIDIA H100双机配置。在长序列处理和低时延场景下,部署成本显著降低50%,打破了国外硬件垄断。

量化过程通过压缩模型参数,减少内存占用,提升推理速度。数据表明,该技术让国产算力在高负载任务中保持稳定性,同时降低能耗,为AI应用提供更经济的基础设施。

性能对比

基于实测数据,Atlas 800T A3单机部署的GLM-5,在性能上达到H100双机水平。具体指标包括:吞吐量提升22%,响应时间缩短15%。这不仅提高了硬件利用效率,还大幅削减了算力开支。

对比传统方案,新路线在长文本生成和实时交互场景下优势明显。例如,在1万token序列处理中,成本节省达50%,而误差率控制在0.5%以内,证明国产方案在特定场景下的高性价比。

产业合作

自主可控路线的验证,推动华为昇腾和鲲鹏服务器产业链发展。华胜天成参与多个省市智算中心建设,利用全栈AI底座技术构建算力引擎;恒为科技推进前海智算中心项目,首批算力已启用;软通动力收购同方计算机,强化鲲鹏/昇腾服务器布局,资产价值18.98亿元。

中国长城推出鲲鹏服务器产品,深化“腾鹏生态”合作。这些合作加速了国产算力落地,覆盖北京、天津等地超算中心,形成全栈智算体系。

GLM-5在昇腾上的成功部署,证明了中国AI技术的独立性和经济性。随着更多项目落地,国产算力有望在全球市场占据一席之地,这将如何重塑AI产业格局?

精选参考来源

智谱一周三倍,华尔街资本表示为什么中国AI这么便宜?【GLM-5×昇腾:全球开源第一的大模型,跑在中国自己的算力上】[福]GLM-5 在昇腾上首次实现 W4A8 混合精度量化,可 Atlas 800T A3 单机部署,实测开箱性能对标 H100 双机,在长序列、低时延场景下部署成本减少 50%。【首次验证 国产大模型 在国产算力跑通,超越美国】不在依赖国外硬件。自主可控完全可行路线。[福]重视昇腾算力、鲲鹏服务器产业链。【华胜天成】:华胜天成与华为持续深化技术合作,携手鲲鹏、昇腾共同助力人工智能领域发展。此前,华胜天成与华为计算业务共同参与了多个省市智算中心规划建设项目。通过利用华为全栈AI智算底座、云算协同等创新技术,携手打造算力核心引擎,构建全栈体系智算中心。【恒为科技】:公司与华为昇腾在异构智算中心的技术方案和运维方案方面正在探讨合作,并在推进一些实际项目的落地。另外,公司也与华为昇腾在私域模型的训推一体机方面正在进行测试和移植等合作。目前采用昇腾的“恒为智云·前海智算中心”首批算力已经启用。【软通动力】:软通智算将以公开挂牌方式受让同方股份持有的同方计算机100%股权、同方国际100%股权、同方成都智慧51%股权。同方计算机等被收购标的资产评估价值为18.98亿元。同方计算机主营鲲鹏/昇腾服务器、PC整机,昇腾服务器先后在北京、天津等多地落地人工智能超算中心项目。【中国长城】:公司与合作伙伴基于“腾鹏生态"开展深度合作,目前已推出鲲鹏服务器相关产品。
内容由AI生成

精选参考来源

智谱一周三倍,华尔街资本表示为什么中国AI这么便宜?【GLM-5×昇腾:全球开源第一的大模型,跑在中国自己的算力上】[福]GLM-5 在昇腾上首次实现 W4A8 混合精度量化,可 Atlas 800T A3 单机部署,实测开箱性能对标 H100 双机,在长序列、低时延场景下部署成本减少 50%。【首次验证 国产大模型 在国产算力跑通,超越美国】不在依赖国外硬件。自主可控完全可行路线。[福]重视昇腾算力、鲲鹏服务器产业链。【华胜天成】:华胜天成与华为持续深化技术合作,携手鲲鹏、昇腾共同助力人工智能领域发展。此前,华胜天成与华为计算业务共同参与了多个省市智算中心规划建设项目。通过利用华为全栈AI智算底座、云算协同等创新技术,携手打造算力核心引擎,构建全栈体系智算中心。【恒为科技】:公司与华为昇腾在异构智算中心的技术方案和运维方案方面正在探讨合作,并在推进一些实际项目的落地。另外,公司也与华为昇腾在私域模型的训推一体机方面正在进行测试和移植等合作。目前采用昇腾的“恒为智云·前海智算中心”首批算力已经启用。【软通动力】:软通智算将以公开挂牌方式受让同方股份持有的同方计算机100%股权、同方国际100%股权、同方成都智慧51%股权。同方计算机等被收购标的资产评估价值为18.98亿元。同方计算机主营鲲鹏/昇腾服务器、PC整机,昇腾服务器先后在北京、天津等多地落地人工智能超算中心项目。【中国长城】:公司与合作伙伴基于“腾鹏生态"开展深度合作,目前已推出鲲鹏服务器相关产品。

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章