大模型成本结构颠覆认知:推理才是烧钱主力,上线两年超训练投入
训练和推理,谁才是真正的烧钱大户
推理成本到底花在哪
推理的成本由三部分组成:计算资源消耗、显存占用、网络带宽。计算资源对应每次生成token的乘加运算,显存占用则来自KV Cache——模型处理用户输入时,需要把历史上下文全部保留在显存里,为每个token的注意力计算待命。4K上下文单条对话就要几GB显存,128K超长文档解读能吃掉40GB显存。并发用户一多,KV Cache线性叠加,显存瞬间被占满。普通4k上下文单条对话就要几GB显存,128K超长文档解读单条请求KV缓存就能吃掉40GB显存,这是必须持续投入硬件的核心原因。更容易被忽视的是,推理不像训练那样大批量并行计算,而是用户随机提问、长短不一,普通调度下GPU利用率常低于10%,大量算力空转,等于每一句对话都摊高单价。23
显存占用才是成本的关键变量。一个token约等于2N FLOPs的计算量,但参数量越大、上下文越长,显存压力越大。上下文达200K时,KV Cache内存读取时间追上计算时间,内存成为新瓶颈,成本加速上升。Gemini 2.5 Pro超200K后价格翻倍不是商业决策,是物理约束——芯片内存带宽砌的天花板。这意味着厂商在定价时并非随意加价,而是必须覆盖真实的硬件成本。4
降本的路子有哪些
推理成本的优化已经形成几条清晰的技术路径。第一是量化压缩,把FP16转成INT4,显存占用直接砍75%,同显卡承载4倍并发,成本降一半以上。FP32单精度占用最大,FP16半精度减半,INT8、INT4量化后呈倍数下降,是显存优化最直接的切入点。第二是高性能推理引擎,vLLM、SGLang依靠PagedAttention解决KV显存碎片问题,吞吐量提升2~3倍。第三是缓存复用,KV Cache是单次生成内避免重算历史,Prompt Cache是跨请求复用相同前缀(如system prompt),命中后价格能降至1/10。FAQ场景缓存命中率30-50%,多轮对话50-70%,Agent工具调用20-30%。还有一条更激进的路:用固定大小的RingBuffer替代传统KV Cache,让显存占用与序列长度脱钩,128K上下文从需要几十GB显存变成只需几MB,精度损失小于0.000001%。24
成本差异到底有多大
推理市场正在变成一场定价战。谁的成本低,谁就能降价抢份额而不亏损。训练成本决定谁能入场,推理成本决定谁能活下去。竞争重心正在从“谁的模型更强”转向“谁的推理更便宜”。对使用者而言,这意味着:不是选最便宜的模型,而是选最匹配使用场景的模型——高频重复调用选缓存命中率高的模型,长文档分析要算清超长上下文带来的成本翻倍,做简单问答不如用小参数模型省掉大把开销。9
当前文章无评论,是时候发表评论了