买AI芯片光看算力?散热不达标,峰值性能都是空谈
功耗飙升的显卡,买前得先算这笔账
买AI芯片只看算力已经不够用了。H100峰值功耗700W,B200直奔1000W,一台8卡服务器实际功耗轻轻松松破5千瓦。散热跟不上的话,芯片刚跑几分钟就开始降频,花大价钱买来的算力说没就没。功耗墙已经从技术概念变成了实实在在的选购门槛。
功耗墙是怎么卡住算力的
AI芯片的功耗问题不只是电费账单那么简单。一块GPU峰值功耗700W,配套散热和辅助设备算下来,单机柜实际功耗接近8千瓦。风冷在800W以上的芯片面前已经力不从心——热量散不掉,芯片就会触发保护机制降频。"算力再强,数据喂不进去也白搭",业内这句话形容的就是这个状态。散热规格直接决定了芯片能否持续输出标称算力。
液冷方案横向对比
当前主流散热方案有三个层级:冷板式液冷把冷却液流经芯片背面的金属板,适合50-120kW单机柜;浸没式液冷直接把服务器泡在绝缘冷却液里,散热效率最高但改造成本大;芯片直冷还在早期阶段,有望把单芯片散热能力推到2kW以上。选购时可以看机型是否原生支持液冷,老旧机房改造成本会是一笔额外开销。
| 维度 | 冷板式液冷 | 浸没式液冷 | 风冷 |
|---|---|---|---|
| 适用功耗范围 | 50-120kW/柜 | 120kW以上 | 30kW以内 |
| 改造成本 | 中等 | 高 | 低 |
| 散热效率 | 风冷3倍以上 | 最高 | 基准 |
| PUE值 | 约1.1-1.15 | 接近1.05 | 约1.3-1.5 |
| 维护复杂度 | 中等 | 高 | 低 |
PUE是衡量能效的关键指标——数值越接近1,说明用于计算的电力比例越高。液冷方案能把PUE压到1.1左右,风冷数据中心普遍在1.3以上。长远来看,选液冷机型不是过度投资,而是避免买了高性能芯片却跑不满的尴尬。
选机时还要看什么
散热只是功耗问题的其中一环。选AI芯片时,持续算力比峰值算力更有参考价值——很多厂商宣传的数字是短时峰值,满载运行几分钟后就会因过热而降频。配套散热面积、功耗释放曲线、是否支持动态调节,都是值得追问的参数。另外要注意机房电力容量,一台8卡服务器满载可能需要较高的电力支撑,老旧机房要先确认配电能不能跟上。
芯片层面也在从源头降低功耗。FP8、INT4这类低精度计算能在保证模型效果的同时显著省电,稀疏计算则通过跳过无效计算来降功耗。不过这些优化需要软件和硬件协同,选芯片时要问清楚对应的推理框架支持哪些精度,否则标称省电实际跑不起来。
当前文章无评论,是时候发表评论了