什么值得买App下载 App ›
连续签到专享现金活动

买AI芯片光看算力?散热不达标,峰值性能都是空谈

功耗飙升的显卡,买前得先算这笔账
买AI芯片只看算力已经不够用了。H100峰值功耗700W,B200直奔1000W,一台8卡服务器实际功耗轻轻松松破5千瓦。散热跟不上的话,芯片刚跑几分钟就开始降频,花大价钱买来的算力说没就没。功耗墙已经从技术概念变成了实实在在的选购门槛。
功耗墙是怎么卡住算力的
AI芯片的功耗问题不只是电费账单那么简单。一块GPU峰值功耗700W,配套散热和辅助设备算下来,单机柜实际功耗接近8千瓦。风冷在800W以上的芯片面前已经力不从心——热量散不掉,芯片就会触发保护机制降频。"算力再强,数据喂不进去也白搭",业内这句话形容的就是这个状态。散热规格直接决定了芯片能否持续输出标称算力。
液冷方案横向对比
当前主流散热方案有三个层级:冷板式液冷把冷却液流经芯片背面的金属板,适合50-120kW单机柜;浸没式液冷直接把服务器泡在绝缘冷却液里,散热效率最高但改造成本大;芯片直冷还在早期阶段,有望把单芯片散热能力推到2kW以上。选购时可以看机型是否原生支持液冷,老旧机房改造成本会是一笔额外开销。
维度冷板式液冷浸没式液冷风冷
适用功耗范围50-120kW/柜120kW以上30kW以内
改造成本中等高低
散热效率风冷3倍以上最高基准
PUE值约1.1-1.15接近1.05约1.3-1.5
维护复杂度中等高低
PUE是衡量能效的关键指标——数值越接近1,说明用于计算的电力比例越高。液冷方案能把PUE压到1.1左右,风冷数据中心普遍在1.3以上。长远来看,选液冷机型不是过度投资,而是避免买了高性能芯片却跑不满的尴尬。
选机时还要看什么
散热只是功耗问题的其中一环。选AI芯片时,持续算力比峰值算力更有参考价值——很多厂商宣传的数字是短时峰值,满载运行几分钟后就会因过热而降频。配套散热面积、功耗释放曲线、是否支持动态调节,都是值得追问的参数。另外要注意机房电力容量,一台8卡服务器满载可能需要较高的电力支撑,老旧机房要先确认配电能不能跟上。
芯片层面也在从源头降低功耗。FP8、INT4这类低精度计算能在保证模型效果的同时显著省电,稀疏计算则通过跳过无效计算来降功耗。不过这些优化需要软件和硬件协同,选芯片时要问清楚对应的推理框架支持哪些精度,否则标称省电实际跑不起来。

评论

评论区空态插画

当前文章无评论,是时候发表评论了