谷歌TPU 8T与8i芯片详解:架构、性能与硬件配置解析
谷歌发布了两款全新TPU芯片——TPU 8T与TPU 8i,旨在应对AI范式的变化。新阶段的核心竞争焦点从单纯的算力转向混合专家模型(MOE)和上下文推理时长。针对这一变化,谷歌将芯片架构一分为二:8T专注于模型训练,解决大规模芯片组网问题;8I则专注于推理,致力于提升响应速度。
01TPU 8T:训练架构革新
TPU 8T采用了名为Vergo的全新架构,其核心优势在于网络的扁平化处理。这一设计使得单集群能够连接100万块TPU芯片,单网络最大可连接13.4万块芯片。相比以往的三层网络架构,新架构将所需链路从6条减少至4条,并支持多平面同时工作。
- 带宽叠加与翻倍
通过多平面带宽叠加,实现DCN带宽翻4倍。 - 存储去中介化
TPU之间的数据传输直接跳过CPU,消除了中间环节。 - 性能提升
存储处理速度提升10倍,整体性能比上一代Ironwood训练版本提升2.7倍。
02TPU 8i:推理性能升级
TPU 8i专门针对推理场景进行了三项核心升级,重点解决延迟和通信效率问题。其架构设计旨在优化MOE模型的全对全通信能力。
| 升级项目 | 技术细节 | 性能表现 |
|---|---|---|
| 片上SRAM | 容量直接扩容三倍 | Kiwi Cash装载量增加,上下文宽度提升,运行更流畅 |
| CAE引擎 | 专用低延迟处理单元 | 整体延迟降低5倍 |
| BorderFly网络 | 三层网络架构:底层BB(PCB走线)、中间Glock等 | 解决MOE全对全通信问题 |
TPU 8i核心升级配置一览
谷歌此次通过将训练与推理芯片分离,分别在组网能力和响应速度上实现了显著突破。Vergo架构与BorderFly网络的引入,配合存储去中介化技术,共同构建了适应新一代AI需求的高效硬件基础设施。
当前文章无评论,是时候发表评论了