文科生试图理解 Infra 推理
大模型推理优化的核心目标与传统云计算高度一致,主要解决高并发与低延迟两个问题。高并发要求系统能支撑上亿用户同时使用而不崩溃或数据混淆;低延迟则追求用户提问后能尽快获得回复,既要求首 Token 延迟(TTFT)足够低,也要求每秒生成 Token 数(TPS)足够高。
01宏观:推理框架
这一层主要解决多用户并发使用的问题,相当于服务层面的资源调度系统。其关注点在于如何让大量用户同时流畅地使用模型服务。
- 请求调度
合理分配用户请求,避免单点过载。 - 动态 Batching
将多个用户的请求合并处理,提高吞吐量。 - KV Cache 管理
缓存计算中间结果,减少重复计算。 - 多用户资源分配
动态调配算力资源,确保公平与效率。
02中观:推理引擎
推理引擎更贴近模型计算本身,专注于提升单个请求的生成速度。其核心在于挖掘硬件计算潜力,让同样一句话的计算耗时更短。
- Attention 加速
优化核心计算模块的处理效率。 - GPU 利用率提升
减少显卡空闲等待时间,最大化算力输出。 - 多卡协同
在多张显卡间分配任务,并行加速计算。
03微观:编译优化与算子加速
这一层深入到代码与指令级别,由算子加速和编译优化共同构成。算子加速致力于优化单个函数的执行速度;而编译优化则关注这些函数的组织调度,如同优化工厂流水线。
| 优化维度 | 核心作用 | 具体示例 |
|---|---|---|
| 算子加速 | 决定单点性能,让单个函数执行更快 | Attention、MatMul、LayerNorm 等函数耗时从 10ms 降至 5ms |
| 编译优化 | 决定整体调度效率,优化计算流水线 | 合并步骤、减少数据搬运、提前完成计算,减少 GPU 空转 |
微观层优化机制对比
综上所述,训练致力于让 AI 变得更聪明,而推理优化则致力于让 AI 用更少的成本完成同样的思考。随着模型能力的提升,推理成本成为商业可持续性的关键,这也是推理优化成为 AI 下半场重要战场的原因。
当前文章无评论,是时候发表评论了