推理成本远超训练,算力需求爆发才刚刚开始
01AI推理成本是训练的15倍,算力需求会持续爆发吗?
OpenAI 2024年推理业务预算达38亿美元,是训练GPT-4投入的15倍,这一反常识数据正在颠覆AI行业的成本认知。94
算力需求不仅会持续爆发,而且正在进入推理主导的长期增长通道,增长速度将远超训练阶段。77
02为什么推理成本远高于训练
训练是一次性投入,相当于建工厂,推理是持续性消耗,相当于工厂每天生产产品的边际成本。只要AI被使用,推理就会7×24小时持续消耗算力,长期累积的成本自然会超过训练。67
| 对比维度 | 训练 | 推理 |
|---|---|---|
| 投入性质 | 一次性/周期性 | 持续性日常消耗 |
| 算力消耗特征 | 单次大规模集中计算 | 高频小规模分散调用 |
| 成本累积速度 | 固定投入后增长缓慢 | 随用户量线性增长 |
训练与推理成本结构对比
2026年国内日均Token调用量突破140万亿,两年暴增1400倍,这种指数级的调用量增长,直接把推理成本堆到了训练的十几倍甚至上百倍。108
推理成本高还有两个隐形推手。
一是智能体(Agent)普及,一个简单的旅行规划任务需要触发比价、查天气、订票、动态重规划等多步推理,Token消耗是传统对话的数十甚至上百倍。122
二是多模态和长上下文需求增长,10秒30fps视频的算力消耗比单图高2-3个数量级,百万级上下文的KV Cache显存占用能占到推理成本的90%。130
03算力需求爆发的核心驱动力
IDC预测2024-2029年训练需求的年复合增长率是26%,而推理需求高达103%,增速是训练的4倍。81
三个结构性因素支撑推理算力需求长期增长。
2026年推理已经占到AI总计算量的66%,首次超过训练,预计2027年占比超70%,2030年达到80%以上,推理已经成为算力需求的绝对主力。123
04成本优化不会改变需求增长趋势
很多人担心推理优化技术成熟后,算力需求会下降。这种担心没必要。
Gartner预测到2030年万亿参数大模型的推理成本会比2025年降低90%,但Token需求的增长速度会远超成本降幅,企业整体推理成本反而会上升。
现在已经出现了非常明确的信号:云厂商的AI算力产品普遍涨价5%-400%,腾讯云混元系列部分模型涨幅最高达463%,供需紧张的局面短期根本缓解不了。136
硬件层面的供给约束同样刚性。
推理现在卡脖子的不是算力本身,而是存储带宽,高带宽内存(HBM)的产能已经被AI巨头提前锁定到2028年,新产能落地至少需要1-2年周期,供给跟不上需求的情况会长期存在。1
05不同角色的应对方向
对企业来说,优先关注推理优化技术的落地。
部署方案上优先考虑分层策略,常规任务交给小模型,高价值复杂任务再用大模型,能进一步控制总成本。
对普通用户来说,未来AI服务的定价会越来越细分,简单功能会越来越便宜,复杂推理任务价格会维持在较高水平,根据需求选择合适的服务就行,不用盲目追求最新最贵的模型。
从行业趋势看,推理算力需求的爆发才刚刚开始,未来5年都会保持高速增长,整个产业链都会围绕推理效率和成本优化重构,机会远大于挑战。
当前文章无评论,是时候发表评论了