AI Infra面试常考—大模型常用量化算法
大模型量化是将网络的权值、激活值等从高精度转化为低精度的操作过程,例如将32位浮点数(FP32)转化为8位整型(INT8)或4位整型(INT4)。其核心目标是在保持模型准确率相近的前提下,显著减少模型大小和内存占用。如果仅量化权重,主要减少的是存储体积;而同时量化权重和激活值,则可以利用整数计算大幅提升推理速度。本文将对大模型常用的AWQ、SmoothQuant、GPTQ算法进行系统性介绍,并结合代码解析AWQ的实现细节。
01量化基础与通用原理
量化的本质是将连续取值离散化。在PyTorch中,Quantized Tensor用于存储量化后的数据(如int8/uint8),并携带scale(缩放因子)和zero_point(零点)参数。Observer用于在校准阶段统计张量的数值分布,计算量化参数。量化可分为对称量化和非对称量化,粒度上分为Per-tensor(张量级)和Per-channel(通道级)。对于大模型,Per-channel量化通常能提供更高的精度。
通用线性量化公式如下:
quantized_value = clamp(round(float_value / scale) + zero_point, qmin, qmax)
其中,scale决定了浮点数到整数的映射比例。最基础的MinMax方法直接使用最大最小值计算scale,但在大模型中,少数“离群值”会撑大scale,导致大部分权重精度受损。因此,高级算法的核心在于如何优化scale的分配。
quantized_value = clamp(round(float_value / scale) + zero_point, qmin, qmax)
其中,scale决定了浮点数到整数的映射比例。最基础的MinMax方法直接使用最大最小值计算scale,但在大模型中,少数“离群值”会撑大scale,导致大部分权重精度受损。因此,高级算法的核心在于如何优化scale的分配。
02主流量化算法原理对比
目前主流的大模型量化算法主要包括SmoothQuant、GPTQ和AWQ。它们在处理离群值、提升推理效率和保持精度方面采取了不同的策略。
算法核心策略对比
SmoothQuant
激活与权重联合量化(W8A8)
- 核心思想:将量化难度从激活迁移至权重。
- 处理方式:通过数学等价变换,引入逐通道平滑因子s,对激活进行除法,对权重进行乘法。
- 优势:解决了激活中离群值导致的量化难题,使得Transformer的线性层和BMM操作可以高效运行在INT8上。
- 平衡点:需要选择合适的迁移强度α,平衡激活与权重的量化误差。
GPTQ
仅权重量化(W4A16混合精度)
- 核心思想:基于OBQ(Optimal Brain Quantization)的近似,使用贪心策略。
- 处理方式:将权重分组,量化部分权重后,利用未量化参数的反向传播更新来弥补误差。
- 优势:采用Lazy Batch-Updates策略,大幅提高了量化效率,适合INT4权重量化。
- 限制:主要关注权重精度,激活值保持FP16,推理速度受限于内存带宽而非算力。
AWQ
激活感知的仅权重量化(W4A16)
- 核心思想:仅保护1%的显著权重,基于激活分布识别重要通道。
- 处理方式:对显著通道对应的权重进行放大,同时缩小上一层的输出激活值(等效变换)。
- 优势:避免了混合精度带来的硬件效率问题,全INT4量化下仍能保持接近FP16的性能。
- 特性:工程实现友好,通过修改计算图将缩放因子融合,无额外推理开销。
| 算法 | 量化对象 | 核心策略 | 典型精度 |
|---|---|---|---|
| SmoothQuant | 权重 + 激活 | 等价变换迁移难度 | W8A8 |
| GPTQ | 仅权重 | 二分搜索与误差修正 | W4A16 |
| AWQ | 仅权重 | 基于激活感知的缩放 | W4A16 |
三种算法特性概览
03AWQ算法工程实现解析
AWQ的工程实现主要分为离线校准和模型转换两个阶段。其核心在于通过数据驱动搜索最佳缩放因子,并在代码实现中巧妙地融合计算图,避免推理时的额外运算。
- 第一步:搜索最佳缩放因子
AWQ为每个输入通道搜索一个缩放因子s,目标是最小化量化前后的输出差异(MSE)。若采用标准AWQ公式,使用duo_scaling=True,否则使用简化公式。为了防止缩放因子过大导致溢出,代码会执行归一化处理。 - 第二步:AWQ等效变换
利用搜索到的best_scales对原始权重W进行缩放(除以s),得到易于量化的权重W'。理论上,输入X需要除以s,但在工程实现中,这通过修改计算图来完成。如果上一层是LayerNorm,将1/s融合到LayerNorm的weight和bias参数中;如果是Linear层,则融合到其权重中。 - 第三步:线性量化与打包
对变换后的权重W'进行线性量化,计算最终的scale(即存入.safetensors文件的scales)。模型文件最终存储量化后的权重、scales以及zero_point。经过融合处理,推理时模型无需再执行额外的除法运算,保证了硬件加速的友好性。
总结而言,大模型量化算法通过不同的数学变换和优化策略,在模型精度、推理速度和硬件实现之间寻找平衡点。AWQ通过激活感知的等效变换,在保持全INT4量化的同时实现了较好的精度保持,且工程实现上避免了混合精度的性能折损,是当前较为高效的方案之一。
当前文章无评论,是时候发表评论了