Intel 发布 Gaudi 3 AI 芯片:性能超 NVIDIA H100
美国当地时间4月9日,Intel举办了一场面向客户和合作伙伴的Intel Vision 2024产业创新大会,做出多项重磅宣布,包括全新的Gaudi 3 AI加速器,包括全新的至强6品牌,以及涵盖全新开放、可扩展系统,下一代产品和一系列战略合作的全栈解决方案。
数据显示,预计到2030年,全球半导体市场规模将达1万亿美元,AI是主要推动力,不过在2023年,只有10%的企业能够成功将其AIGC项目产品化。
Intel的最新解决方案,有望帮助企业应对推广AI项目时所面临的挑战,加速实现AIGC落地商用。
Intel发布Gaudi 3 AI加速器:4倍性能提升、无惧1800亿参数大模型Intel现有的Gaudi 2诞生于2022年5月,并于2023年7月正式引入中国,拥有极高的深度学习性能、效率,以及极高的性价比。
它采用台积电7nm工艺制造,集成24个可编程的Tenor张量核心(TPC)、48MB SRAM缓存、21个10万兆内部互连以太网接口(ROCEv2 RDMA)、96GB HBM2E高带宽内存(总带宽2.4TB/s)、多媒体引擎等,支持PCIe 4.0 x16,最高功耗800W,可满足大规模语言模型、生成式AI模型的强算力需求。
新一代的Gaudi 3面向AI训练和推理,升级为台积电5nm工艺,带来了2倍的FP8 AI算力、4倍的BF16 AI算力、2倍的网络带宽、1.5倍的内存带宽。
对比NVIDIA H100,它在流行LLM上的推理性能领先50%、训练时间快40%。
Gaudi 3预计可大幅缩短70亿和130亿参数Llama2模型、1750亿参数GPT-3模型的训练时间。
在Llama 70亿/700亿参数、Falcon 1800亿参数大型语言模型上,Gaudi 3的推理吞吐量和能效也都非常出色。
Gaudi 3提供多种灵活的形态,包括OAM兼容夹层卡、通用基板、PCIe扩展卡,满足不同应用需求。
Gaudi 3提供开放的、基于社区的软件,以及行业标准以太网网络,可以灵活地从单个节点扩展到拥有数千个节点的集群、超级集群和超大集群,支持大规模的推理、微调和训练。
Gaudi 3 AI加速器具备高性能、经济实用、节能、可快速部署等优点,能够充分满足复杂性、成本效益、碎片化、数据可靠性、合规性等AI应用需求。
Gaudi 3将于2024年第二季度面向OEM厂商出货,包括戴尔、慧与、联想、超威等。
目前,Intel Gaudi加速器的行业客户及合作伙伴有NAVER、博世(Bosch)、IBM、Ola/Krutrim、NielsenIQ、Seekr、IFF、CtrlS Group、Bharti Airtel、Landing AI、Roboflow、Infosys,等等。
此外,Intel还宣布联合Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick、Zilliz等伙伴,共同创建一个开放平台,助力企业推动AI创新。
该计划旨在开发开放的、多供应商的AIGC系统,通过RAG(检索增强生成)技术,提供一流的部署便利性、性能和价值。
初始阶段,Intel将利用至强处理器、Gaudi加速器,推出AIGC流水线的参考实现,发布技术概念框架,并继续加强Intel Tiber开发者云平台基础设施的功能。
本文经快科技授权发布,原标题:Intel发布Gaudi 3 AI加速器:4倍性能提升、秒杀NVIDIA H100,文章内容仅代表作者观点,与本站立场无关,未经允许请勿转载。
Arfu2073
校验提示文案
肺火山超微硅粉沉着症
要是 CUDA护城河没了,谁还买 Nvdia啊,AMD价格便宜显存又大,算力也不差,不香嘛。
校验提示文案
梵高_先生
校验提示文案
Rockbox
校验提示文案
wangmillion2009
校验提示文案
郑家卫
校验提示文案
筱姐姐亲
校验提示文案
飞婧传雅
校验提示文案
什么值不得买
校验提示文案
ferrero-lee
校验提示文案
乖崖十一
校验提示文案
羊羊圆圆妞妞
校验提示文案
入坑太晚
校验提示文案
tset
校验提示文案
青椒炒肉5178
校验提示文案
半步微凉
校验提示文案
[已注销]
校验提示文案
人不自救上天难佑吧
校验提示文案
护理系学生会
校验提示文案
南梦鸭鸭
校验提示文案
值友1965068759
校验提示文案
新乡里
校验提示文案
jooben
校验提示文案
死循环了
校验提示文案
永不言败的垃圾佬
校验提示文案
南梦鸭鸭
校验提示文案
护理系学生会
校验提示文案
ferrero-lee
校验提示文案
人不自救上天难佑吧
校验提示文案
[已注销]
校验提示文案
半步微凉
校验提示文案
什么值不得买
校验提示文案
飞婧传雅
校验提示文案
郑家卫
校验提示文案
Arfu2073
校验提示文案
乖崖十一
校验提示文案
青椒炒肉5178
校验提示文案
tset
校验提示文案
入坑太晚
校验提示文案
羊羊圆圆妞妞
校验提示文案