研究人员将HBM侧放以攻克AI存储器的散热墙

韩国和日本的研究人员提出了两项独立的存储器集成方案，旨在在不将更多热量困在不断增高的DRAM堆栈内部的前提下，增加HBM（高带宽存储器）的容量和带宽，这是未来AI加速器面临的最紧迫挑战之一。

来自韩国研究合作团队的V-Die和东京大学主导的MOSAIC的这两项方案，均于2026年6月举行的IEEE/JSAP超大规模集成电路技术与电路研讨会上发表，它们探索的是同一个宏观思路：将DRAM存储芯片竖立放置，而非像传统HBM那样仅向上堆叠存储芯片。

韩国的方案名为Vertical-Die（V-Die），由UNIST的研究人员提出。该设计将定制DRAM芯片旋转竖立，取消硅通孔以释放芯片面积用于更多存储单元，为每个芯片提供独立的底部边缘I/O，并在相邻芯片之间运行液冷通道。在与同等容量的HBM4系统进行模拟对比时，V-Die系统在GPT-3规模的工作负载下 reportedly 达到了每秒540个token，而HBM4仅为每秒296个token。

日本的MOSAIC项目采用了类似的"侧向堆叠"思路，但重点关注的是将大量竖直芯片连接到GPU或封装基板上的实际困难。由东京大学研究人员提出的MOSAIC方案使用正交芯片堆叠和无接触芯片间接口，数据通过微小的感应线圈传输，而非要求每个信号焊盘都精确落在物理接触点上。研究人员表示，该原型接口实现了每通道高达4 Gbps的传输速率，而在DRAM-on-GPU配置下，该存储结构可将HBM4级别的容量翻倍。

两个项目都旨在解决AI芯片日益受到存储器制约的问题。现代加速器能够执行海量计算，但大型、强大的模型依赖于在存储器和计算单元之间搬运巨量数据。这正是HBM成为现代AI硬件核心技术之一的原因。

该技术通过在基础芯片上垂直堆叠多颗DRAM芯片，并将整个堆栈放置在非常靠近处理器的位置，从而突破"存储墙"。例如，NVIDIA的Blackwell Ultra B300搭载了高达288GB的HBM3E存储器，若没有它，大量硅片将处于空闲状态等待数据到来。这些芯片通过硅通孔（TSVs）连接，TSV是在硅片中蚀刻并填充金属的微小垂直通道。

该堆栈随后通过极为宽广的接口与GPU通信，通常经由硅中介层或先进封装进行布线。这正是HBM能够提供每秒TB级带宽的核心原因：它采用非常宽、非常短的数据路径，而非像传统DIMM（双列直插式存储器模块，即计算机中使用的物理内存条）那样将存储流量跨主板传输。

然而，同样的结构也带来了若干问题。虽然更高的堆栈增加了容量，但也使散热变得更加困难。下层芯片和高速接口产生的热量必须穿过多层硅片、键合材料、底部填充胶和封装结构，才能到达散热器。此外，TSV会占用本可用于存储单元的芯片面积，而随着带宽提升，更多的布线和I/O会对信号完整性和封装成本造成额外压力。

HBM4作为HBM的最新一代，解决了其中的诸多挑战。与此同时，SK海力士、三星和美光等公司正在竞相提升速度、容量、基础芯片性能和热管理能力。SK海力士已经展示了iHBM，将冷却元件嵌入HBM接口区域；三星则展示了配备Heat Path Block冷却方案的HBM5样机，以更直接地从堆栈中提取热量。然而，它们都保留了相同的向上堆叠结构。

这一传统正是V-Die和MOSAIC所挑战的。通过将DRAM芯片竖立放置，研究人员使更多的硅表面积暴露在散热路径中。理论上，这将存储堆栈转变为更接近散热器鳍片阵列的结构，热量可以横向移动并更直接地散出，而非被困在厚厚的垂直堆叠中央。这也为沿每个芯片底部或侧面的新型连接方案打开了大门，而非强制所有芯片通过贯穿堆栈的垂直TSV进行通信。

对于V-Die而言，关键转变是将TSV从存储芯片中移除，并用底部边缘连接取而代之。每颗DRAM芯片均沿底部边缘配备独立I/O并直接连接基板，据称其链路间距为20微米。该团队表示，这种布局提供了HBM4四倍的连接数量，并将存储器读取时间缩短了37%，尽管部分信号必须在封装内传输更远距离才能到达处理器。

散热是V-Die方案的另一大核心论点。该设计在相邻竖立DRAM芯片之间放置了微流体冷却通道，使冷却液能够在更靠近热源的位置散热。据研究人员称，这可将堆栈温度维持在约45°C，远低于密集HBM系统常见的80°C以上范围。在针对H100级别硬件、GPT-3规模模型的16芯片堆栈模拟中，V-Die达到了每秒540个token，而HBM4为每秒296个；同时将首token延迟降低了32%，约24毫秒。

与此同时，MOSAIC专注于让侧向堆叠具备可制造性。由于芯片先平放组装再竖立，即使每颗芯片仅有几微米的厚度差异，在数十颗芯片累积后也可能导致对准偏差，使信号焊盘无法对齐。日本团队的解决方案是基于电感耦合的无接触接口。存储芯片一侧带有椭圆形线圈，基板或对应芯片上则设有相应的线圈组。一侧线圈中的电流在另一侧线圈中感应出信号，使数据能够跨越微小间隙传输，无需直接的金属对金属信号接触。这消除了精确重叠对准的需求，使封装对组装差异具有更大的容差。供电所需的连接数量少于数据且尺寸更大，仍可通过存储立方体侧面的物理触点提供。

VLSI MOSAIC原型实现了每通道高达4 Gbps的传输速率，并展示了用于存储器- GPU布局的无TSV 3D集成。该团队表示，这种方法可在不显著增加峰值温度的前提下实现HBM4两倍的存储容量。在ECTC上的一项相关bump-MOSAIC硬件演示中，使用了100微米间距的微凸块，X射线CT验证其堆叠对准精度在6微米以内，并展示了一种配置：其热导率为传统堆叠的3倍，同时存储容量增加高达30%。

尽管结果看起来前景可期，但无论是V-Die还是MOSAIC都远未接近取代商用HBM，两者都尚未接近量产阶段。V-Die目前仍是一项提出的架构，正在制作原型以验证其热性能和电气特性；MOSAIC虽已有原理验证硬件，但研究人员尚未证明其能扩展到商用DRAM的容量、良率、成本和可靠性水平。

不过，任何能够解决AI存储器多方面问题的可行方案都是值得欢迎的进展。软银和英特尔的Z-Angle Memory（ZAM）以及NEO Semiconductor的3D X-DRAM（两者均仍在开发中），都旨在突破传统存储器的限制。与此同时，整体市场已经在价格和供应方面感受到压力，即便存储器制造商正将产能转向利润更高的AI HBM和服务器产品，进一步推高了消费级内存的价格。