2025年大模型领域发生了显著转变，从年初追求万亿参数的预训练，转向了务实的推理优化。这一转变源于千亿模型部署成本过高、延迟无法满足产品需求等现实问题。通过co-design方案、量化技术、缓存优化等手段，实现在保持模型能力的同时大幅降低服务成本，每美元请求数提升几十倍。
智能速览
千亿模型部署成本高，token延迟难以满足产品要求
推理优化面临memory bandwidth bound严重、KV cache占用大等问题
采用sparse activation、MoE架构和dynamic quantization的co-design方案
通过continuous batching和block-level management提升吞吐量
量化技术精细化：敏感层保持FP16，其他层压到INT4或INT2
predictive caching配合LRU+prefetch策略优化缓存机制
精华内容
推理优化不仅是技术挑战，更是思维转变。从追求模型规模转向关注实际落地效果，需要重新思考整个serving stack的设计。
现实困境
年初还在坚持scaling law思路，认为堆叠模型规模和数据量就能实现能力涌现。但实践发现千亿模型部署成本极高，token延迟无法达到产品要求。虽然benchmark分数漂亮，但在实际应用中表现不佳，这种学术上优秀但落地困难的状况促使了思路转变。
核心挑战
推理优化的最大问题是memory bandwidth bound严重，KV cache消耗了大量显存，传统attention计算模式无法承受。必须采用flash attention、paged attention等技术。但优化算子又面临硬件兼容性差、数值精度损失、动态shape支持弱等新挑战。
协同设计
采用co-design方案解决上述问题。训练阶段引入sparse activation和MoE架构，推理阶段使用dynamic quantization配合speculative decoding。这种协同设计既保持模型能力，又将显存和计算需求压下来。关键是设计好训练和推理的协同框架，避免压缩模型出现catastrophic forgetting。
服务架构
生产环境下，单个GPU难以服务长序列请求，因为KV cache会爆显存。尝试offloading到CPU导致延迟过高。现在采用continuous batching配合vLLM的block-level management，虽然调度逻辑复杂，但吞吐量显著提升。
量化策略
量化在推理优化中更加精细化。8-bit精度损失严重，4-bit需要分组量化配合GPTQ。采用layer-wise calibration识别敏感层，敏感层保持FP16，其他层压到INT4甚至INT2，再用activation-aware方法微调rounding bias。
缓存优化
每次生成都要维护增长的KV cache，多用户并发时碎片化严重。naive的eviction policy命中率惨淡。改用predictive caching，根据attention pattern预测cache重用情况，配合LRU+prefetch策略，在提升吞吐的同时控制显存占用。
