Transformer 2. Attention 注意力机制
在序列建模任务中,建立样本间的关联是核心诉求,而实现这一目标的关键在于加权求和。Transformer 模型通过引入自注意力机制(Self-Attention),实现了在序列内部自动计算样本间相关性并分配权重的能力。本文将从核心原理出发,系统解析自注意力的计算流程,涵盖 Q、K、V 矩阵的定义、缩放点积注意力的具体步骤,以及多头注意力机制的实现逻辑与优势。
01核心原理:自注意力与 QKV 机制
注意力机制的本质在于“选择性关注”,即让模型学会关注输入序列中的重要部分并分配相应权重。与经典注意力机制关注序列 A 对序列 B 的影响不同,自注意力机制专注于序列 A 内部的样本相关性。在 Transformer 中,通过引入 Query(查询)、Key(键)和 Value(值)三个概念,将输入特征转化为用于信息检索的形式。
Q、K、V 的生成通过输入矩阵与三个不同的权重矩阵相乘实现。以预估体重的类比为例,已知新同学的身高(Q),与班级现有同学的身高(K)进行比对计算相关度,最终基于现有同学的体重(V)和相关度系数估算出结果。在大模型中,Q 类似于提出的问题,K 是数据库中的索引键,V 是对应的答案值,通过计算 Q 与 K 的相关性来提取对应的 V 信息。
02计算流程:从缩放点积到加权求和
- 相关性计算与缩放
通过 Q 与 K 的转置相乘获得相关性矩阵。为消除高维度向量点积后数值过大带来的“维度偏见”,需除以缩放因子√dk(dk 为向量维度)。这一操作相当于对相关性分数进行“降温”,确保梯度稳定,防止梯度消失或爆炸。 - Softmax 归一化
将缩放后的相关性分数通过 Softmax 函数转换为概率分布。这一步将“相似度分数”转化为“重要性权重”,确保每个样本对其他样本的注意力分配总和为 1,使模型能够合理分配关注点。 - 加权求与输出
利用归一化后的权重矩阵对 V 矩阵进行加权求和。该过程实际上是建立样本间的信息桥梁,让每个样本能够借用其他样本的信息来丰富自身的特征表示,从而完成信息的融合。
03多头注意力机制:多角度并行建模
单一视角的注意力机制可能无法捕捉到序列中所有的复杂关系。多头注意力机制(Multi-Head Attention)通过使用多组不同的权重矩阵(WQ, WK, WV),并行生成多组 Query、Key 和 Value。每组头独立进行注意力计算,产生各自的输出矩阵 Z。
计算完成后,将所有头输出的 Z 矩阵进行拼接(Concat)。例如,若序列长度为 100,嵌入维度为 3,设置 8 个注意力头,则最终输出的序列维度变为 (100, 24)。这种设计类似于让 8 位不同领域的专家同时分析同一段文本,每位专家专注于不同的子空间信息,最后汇总所有意见,从而实现对文本更全面、深入的理解。
| 机制类型 | 核心概念 | 计算逻辑 | 主要优势 |
|---|---|---|---|
| 缩放点积注意力 | Q, K, V 矩阵变换 | Q × K^T / √dk → Softmax → × V | 通过缩放解决高维数值问题,实现序列内部信息融合 |
| 多头注意力 | 多组 WQ, WK, WV | 并行计算多组 QKV → 拼接输出 | 多角度建模,捕捉不同子空间的语义特征,增强表达能力 |
自注意力与多头注意力机制对比
综上所述,Transformer 通过自注意力机制解决了序列建模中的长距离依赖问题,利用 QKV 运算实现了高效的相关性计算。而多头注意力机制进一步扩展了这一能力,通过并行计算和特征拼接,赋予了模型从多个维度理解复杂语义的能力,为 Transformer 架构的强大性能奠定了基础。
当前文章无评论,是时候发表评论了