什么值得买App下载 App ›
连续签到专享现金活动

从零吃透Transformer核心,多头注意力、残差连接与前馈网络

Transformer架构已成为现代大语言模型(如ChatGPT、BERT)的核心骨架。相较于传统RNN的串行处理方式,Transformer通过并行计算机制,能够同时分析句子中所有词的关联,显著提升了处理效率与上下文捕捉能力。这一架构的高效运行主要依赖于三大核心模块:多头注意力机制、残差连接与层归一化,以及前馈网络。以下将深入剖析这些模块的技术原理与运作逻辑。
01多头注意力机制:多维度的语义关联捕捉
多头注意力机制是Transformer的“灵魂”,其核心作用是让模型从多个不同的子空间(即“头”)同时关注句子中词与词之间的复杂关联。相比单头注意力容易遗漏信息的局限,多头机制通过多组独立的权重矩阵,分别提取语法、语义、情感等不同维度的特征,最后进行整合,从而获得更全面的语言理解。
  1. 输入准备:输入句子经过词嵌入和位置编码得到矩阵X,线性变换生成查询矩阵Q、键矩阵K和值矩阵V。
  2. 分组处理:将Q、K、V分别与8组不同的权重矩阵相乘,生成8组独立的“小Q、小K、小V”,每个头部对应一组。
  3. 独立计算:每个头部执行单头注意力计算,包括相似度计算、缩放、Softmax归一化和加权求和。
  4. 结果整合:将8个头部的输出拼接,并通过线性变换矩阵$W^O$进行最终整合,确保输出维度与输入一致。
计算步骤操作描述核心公式/逻辑
相似度计算计算查询与键的关联程度$Q_i K_i^T$
缩放处理防止数值过大导致Softmax失效除以 $\sqrt{d_k}$
归一化将权重转化为概率分布Softmax函数
加权求和根据权重聚合值信息权重矩阵 $\times$ $V_i$

单头注意力核心计算流程

在Transformer原论文设置中,模型总维度$d_{model}$为512,头数$h$为8,因此每个头的维度为64。这种设置($d_k = d_v = 64$)既保证了信息的全面性,又确保了8个头部拼接后的维度($64 \times 8 = 512$)能与输入维度完美匹配,维持了模型结构的稳定性。
02残差连接与层归一化:稳定训练的基石
深层网络训练常面临梯度消失或梯度爆炸的问题。Transformer通过残差连接(Add)和层归一化(Norm)的组合模块,有效缓解了这些问题,保证了模型在叠加多层时仍能稳定训练。

归一化机制对比

批归一化 (Batch Norm)
  • 计算方式:对同一批次中不同样本的同一位置特征进行归一化。

  • 适用场景:适合样本间独立性要求不高的任务(如计算机视觉)。

  • 在Transformer中的局限:破坏了句子内部词与词的独立性,且依赖批次大小,不适应变长序列的并行处理。

层归一化 (Layer Norm)
  • 计算方式:对单个样本内部的所有特征进行归一化。

  • 适用场景:适合NLP任务,能保留句子内部的语义关联。

  • 在Transformer中的优势:不依赖批次大小,计算独立,支持并行训练,完美适配注意力机制。

残差连接通过$H(x) = f(x) + x$的结构,将模块的输入直接加到输出上,为梯度传播提供了“高速公路”,避免了深层网络中的信息丢失。层归一化则将数据分布调整为标准正态分布(均值为0,方差为1),稳定了数据数值范围。两者结合形成的“Add & Norm”结构,在多头注意力和前馈网络之后各出现一次,构成了模型训练的双重保障。
03前馈网络:深层语义的逐点加工
前馈网络(FFN)作用于每个词向量独立进行非线性变换,其作用是对多头注意力提取的关联特征进行深加工。如果将多头注意力比作关注词间关系的“观察者”,前馈网络则是专注词本身深层含义的“体检医生”。
  1. 升维映射:将输入维度从512线性变换至2048($d_{ff} = 4 \times d_{model}$),放大特征空间以挖掘隐含细节。
  2. 非线性激活:使用ReLU激活函数($max(0, x)$)过滤负值噪声,保留有效特征。
  3. 降维还原:将2048维线性变换还原至512维,输出经过深度提炼的词向量。
这种“先放大再缩小”的设计,虽然看似增加了计算量,但为模型提供了足够的推理空间来处理复杂的语义逻辑,同时保证了输出维度与输入维度的一致性,使其能够无缝接入后续的残差连接与层归一化层。

评论

评论区空态插画

当前文章无评论,是时候发表评论了