557万vs50亿美元,AI训练成本凭什么差100倍?
大模型厂商宣传的「训练成本」往往只是那张GPU租赁账单,但实际烧掉的钱远不止于此。硬件采购、电力消耗、人力投入、数据清洗——每一项都是亿元级别的窟窿。有人花557万美元就能训出DeepSeek,也有人砸了50亿美元才做出GPT-5。差距为什么这么大?先把成本拆开看,才能理解这笔账到底该怎么算。
成本构成的四大块
硬件采购或租赁是大头。一张英伟达H100市价约3万美元,万卡集群仅GPU就要砸出去20亿人民币起步,这还只是显卡钱,加上服务器、网络、存储设备,总资本支出轻松摸到5-10亿美元。不想买也可以租,2026年H100租赁价格已涨到每卡每小时2.35美元,按1万张卡跑3个月算,光租金就要烧掉3.68亿人民币。但这只是理想状态——大模型训练往往要经历多次调参和失败重跑,实际算力消耗通常是理论值的2-5倍。1
电力成本是看不见的吞金兽。单张H100满载功耗约700W,1万张GPU同时跑就是7兆瓦,每小时电费约4200元,3个月下来将近900万。这还只是电费本身,加上数据中心散热、网络设备,电力总成本通常要翻倍。万卡集群一年的运维电费超过1000万美元,属于正常水平。1
不同参数规模,成本差多少?
参数规模每上一个台阶,成本不是线性增长,而是指数级跳涨。7B参数模型用32卡H100训练约1-2周,直接成本50-100万元;70B参数模型需要128卡跑1-2个月,成本直接跳到500-1000万;而万亿参数模型需要1-2万张H100跑2-4个月,硬件采购成本在5-20亿美元之间,换算过来就是35-140亿人民币。2
| 参数规模 | GPU数量 | 训练周期 | 硬件采购成本 | 月租成本(云端) |
|---|---|---|---|---|
| 7B | 32卡H100 | 1-2周 | 约700万 | 约22万 |
| 70B | 128卡H100 | 1-2月 | 约2700万 | 约177万 |
| 万亿(MoE) | 1024卡H200 | 数月 | 数亿美元 | 约800万 |
| GPT-5级别 | ~10000卡H100 | 3个月+ | 5-20亿美元 | 约5076万美元/3月 |
GPU选型也在影响最终账单。2026年主流GPU租赁价格差异巨大:H100约2.35美元/小时,H200约5.50美元/小时,而B200租赁价格在5.0-5.2美元/小时。相比之下,国产昇腾910C单卡成本不到H100的1/10,虽然算力只有后者的四成,但价格优势明显。有人算过,同等规模训练用昇腾910C替代H100,月成本可以从354万降到49万。3
省钱的三板斧:MoE、合成数据、蒸馏
同样是万亿参数模型,有人烧50亿,有人只花8亿。差距不在硬件数量,而在架构选择和训练策略。第一板斧是MoE(混合专家模型):把大模型拆成多个「小专家」,每次只激活其中一部分。GPT-5每次推理激活约3000亿参数,而Kimi K3总参数相当,每次只激活不到800亿——就像接到数学题只叫数学部门,接到写诗任务只叫文学部门,不需要全公司开会。4
第二板斧是合成数据替代人工标注。高质量人类标注数据的成本是合成数据的十倍,但通过自动化数据质量评分系统过滤垃圾数据,模型反而学得更好。第三板斧是知识蒸馏:先训练一个超大教师模型,用它的输出信号指导学生模型,但教师模型只在最关键的数据子集上运行,且只用前向传播不出梯度,算力消耗压到最低。这三招配合下来,K3把成本砍到了GPT-5的约1/12。4
但要注意,推理成本可能比训练更烧钱。训练是一次性投入,推理是持续开销——中等规模模型服务一年推理成本可超训练成本的10倍。2026年全球AI基础设施支出中推理占比约为三分之二。通过KV Cache复用历史Token、通过Prompt Cache跨请求复用相同前缀,命中后成本可降至原来的1/10。缓存命中率在FAQ场景可达30-50%,多轮对话场景50-70%——把重复计算省下来,才是长期省钱的关键。5
当前文章无评论,是时候发表评论了