什么值得买App下载 App ›
连续签到专享现金活动

推理成本远超训练,算力需求爆发才刚刚开始

01AI推理成本是训练的15倍,算力需求会持续爆发吗?
OpenAI 2024年推理业务预算达38亿美元,是训练GPT-4投入的15倍,这一反常识数据正在颠覆AI行业的成本认知。94
算力需求不仅会持续爆发,而且正在进入推理主导的长期增长通道,增长速度将远超训练阶段。77
02为什么推理成本远高于训练
训练是一次性投入,相当于建工厂,推理是持续性消耗,相当于工厂每天生产产品的边际成本。只要AI被使用,推理就会7×24小时持续消耗算力,长期累积的成本自然会超过训练。67
对比维度训练推理
投入性质一次性/周期性持续性日常消耗
算力消耗特征单次大规模集中计算高频小规模分散调用
成本累积速度固定投入后增长缓慢随用户量线性增长

训练与推理成本结构对比

2026年国内日均Token调用量突破140万亿,两年暴增1400倍,这种指数级的调用量增长,直接把推理成本堆到了训练的十几倍甚至上百倍。108
推理成本高还有两个隐形推手。
一是智能体(Agent)普及,一个简单的旅行规划任务需要触发比价、查天气、订票、动态重规划等多步推理,Token消耗是传统对话的数十甚至上百倍。122
二是多模态和长上下文需求增长,10秒30fps视频的算力消耗比单图高2-3个数量级,百万级上下文的KV Cache显存占用能占到推理成本的90%。130
03算力需求爆发的核心驱动力
IDC预测2024-2029年训练需求的年复合增长率是26%,而推理需求高达103%,增速是训练的4倍。81
三个结构性因素支撑推理算力需求长期增长。
  1. 应用场景扩张
    AI已经从少数人用的工具变成职场人日常必备,超六成职场人用AI做PPT,七成视其为求职必备技能,从智能客服、实时翻译到工厂良率优化、自动驾驶,推理需求已经渗透到各行各业。
    72
  2. 边缘推理爆发
    2030年50%的企业AI推理任务将在边缘完成,端侧设备对低延迟推理的需求,会把算力需求从云端数据中心扩散到每个城市的边缘节点,甚至个人手机、汽车里。
    79
  3. 杰文斯悖论显现
    推理技术优化不仅不会降低总需求,反而会刺激更多应用落地。比如DeepSeek-V4把单Token算力消耗降到前代的27%,1%的成本撬动了100倍的需求增长,总消耗量反而更大。
    72
2026年推理已经占到AI总计算量的66%,首次超过训练,预计2027年占比超70%,2030年达到80%以上,推理已经成为算力需求的绝对主力。123
04成本优化不会改变需求增长趋势
很多人担心推理优化技术成熟后,算力需求会下降。这种担心没必要。
Gartner预测到2030年万亿参数大模型的推理成本会比2025年降低90%,但Token需求的增长速度会远超成本降幅,企业整体推理成本反而会上升。
现在已经出现了非常明确的信号:云厂商的AI算力产品普遍涨价5%-400%,腾讯云混元系列部分模型涨幅最高达463%,供需紧张的局面短期根本缓解不了。136
硬件层面的供给约束同样刚性。
推理现在卡脖子的不是算力本身,而是存储带宽,高带宽内存(HBM)的产能已经被AI巨头提前锁定到2028年,新产能落地至少需要1-2年周期,供给跟不上需求的情况会长期存在。1
05不同角色的应对方向
对企业来说,优先关注推理优化技术的落地。
现在已经有非常成熟的降本路径:提示词优化能降本75%,语义缓存能减少70%实际调用,模型路由能降本90%,再搭配量化、批处理等底层技术,综合成本能降70%以上。某企业通过三步优化,就把每月15万美元的推理成本降到了1.26万美元。71167
部署方案上优先考虑分层策略,常规任务交给小模型,高价值复杂任务再用大模型,能进一步控制总成本。
对普通用户来说,未来AI服务的定价会越来越细分,简单功能会越来越便宜,复杂推理任务价格会维持在较高水平,根据需求选择合适的服务就行,不用盲目追求最新最贵的模型。
从行业趋势看,推理算力需求的爆发才刚刚开始,未来5年都会保持高速增长,整个产业链都会围绕推理效率和成本优化重构,机会远大于挑战。

评论

评论区空态插画

当前文章无评论,是时候发表评论了