什么值得买App下载 App ›
连续签到专享现金活动

84. LoRA要增加旁路,微调前后模型结构却可以不变,为什么?【每天一个宝藏问题】

LoRA(Low-Rank Adaptation)作为一种高效的参数微调方法,其核心机制是在预训练模型中增加旁路进行低秩矩阵分解。这一过程虽然看似改变了模型结构,但通过特定的数学操作,可以实现微调前后模型结构的完全一致。这种特性使得LoRA在保持模型推理效率的同时,大幅降低了微调所需的存储成本和计算资源。
01全量微调与LoRA微调的机制对比
特性全量微调LoRA微调
更新对象直接更新原始权重矩阵 W更新注入的低秩旁路矩阵 A 和 B
矩阵形状W (D × K)A (D × r), B (r × K), ΔW (D × K)
存储内容更新后的完整权重矩阵 W'仅存储低秩矩阵 A 和 B
计算公式Y = XW' (W' = W + ΔW)Y = XW + X(AB) = X(W + AB)

全量微调与LoRA微调核心机制对比

02LoRA的结构不变性逻辑
  1. 旁路注入与训练
    在微调阶段,LoRA不直接更新巨大的预训练权重矩阵 W,而是注入两个低秩矩阵 A 和 B。其中 A 的形状为 D×r,B 的形状为 r×K,r 是一个很小的秩。通过计算 AB,得到与 W 形状相同的增量矩阵 ΔW(D×K)。此时模型输出计算为 X(W + AB)。
  2. 存储策略优化
    微调结束后,系统仅存储低秩矩阵 A 和 B,而不存储 ΔW。这是因为 A 和 B 在代码中被显式定义为线性层,且参数量远小于 W。对于 r << min(D, K) 的情况,存储 A 和 B 的空间开销显著低于存储完整的 ΔW。
  3. 推理前的权重合并
    在模型推理上线前,将训练好的增量矩阵 ΔW(即 AB)与原始预训练权重 W 进行合并,得到新的权重矩阵 W' (W' = W + AB)。由于 W 和 ΔW 形状相同且在推理阶段固定不变,这种矩阵加法是完全合法的。
  4. 结构还原与部署
    合并后,模型结构还原为标准的线性层形式,仅包含合并后的权重 W'。原有的旁路 A 和 B 被移除,使得推理时的模型结构与微调前的预训练模型完全一致,消除了旁路带来的额外计算开销。
综上所述,LoRA通过“训练时注入旁路,推理时合并权重”的策略,巧妙地平衡了微调的灵活性与部署的高效性。这种设计使得全量微调和LoRA微调在微调前后都能保持模型结构的一致性,对于LoRA而言,增量矩阵 ΔW 就如同从未存在过一样,实现了无痕的模型升级。

评论

评论区空态插画

当前文章无评论,是时候发表评论了