什么值得买App下载 App ›
连续签到专享现金活动

RWKV 架构相较于传统的 Transformer 有哪些创新之处?

Transformer 架构虽然凭借注意力机制在序列建模领域取得了统治地位,但其计算复杂度随序列长度呈二次方增长($O(N^2)$),导致训练和推理成本高昂。在 Transformer 出现之前,LSTM 和 GRU 等 RNN 架构通过门控机制实现了线性时间复杂度,但在长距离依赖捕捉上存在局限。近年来,以 RWKV 为代表的新型架构试图打破这一僵局,旨在融合 RNN 的高效推理特性与 Transformer 的并行训练优势。
01RWKV 的核心机制:线性化与并行化
RWKV(Receptance Weighted Key Value)通过数学技巧将标准的注意力计算转化为线性形式。其核心在于用固定的指数衰减模式代替了传统注意力中计算量巨大的成对交互矩阵,从而将计算复杂度降低至 $O(N)$。这种设计使得 RWKV 在推理阶段能够像 RNN 一样保持恒定速度,每步计算量仅取决于隐藏维度 $d$。
为了解决 RNN 难以并行训练的痛点,RWKV 引入了“同一算法,两种计算方式”的策略。在训练阶段,RWKV 将循环展开为矩阵形式,利用衰减系数构成的三角 Toeplitz 矩阵结构,通过 FFT(快速傅里叶变换)或分块并行技术进行高效计算。到了 RWKV-6 版本,架构进一步引入了数据依赖的衰减率,使模型能够根据输入内容动态决定记忆时长,这一点与 Mamba 的选择性策略异曲同工。
02同类架构对比与演进
架构名称核心机制计算模式关键特性
RWKV线性注意力 + 指数衰减训练(并行)/ 推理(循环)数据依赖衰减率,推理恒定速度
RetNetRetention 机制矩阵/递归/分块并行多模式等价,不同头关注不同时间尺度
GLA门控线性注意力块内并行/块间循环矩阵值门控,LSTM 的矩阵化扩展

主流线性注意力架构对比

除了 RWKV,微软提出的 RetNet(Retentive Network)也是该领域的重要探索。RetNet 设计了因果衰减掩码,在计算相关性时对历史信息施加指数衰减权重,越远的信息影响越小。其核心优势在于实现了矩阵乘法、逐 token 递推和分块并行三种计算模式的完全等价,能够充分利用 GPU 算力。
针对线性注意力衰减方式不够灵活的问题,GLA(Gated Linear Attention)提出了为每个位置设置独立门控矩阵的解决方案,被视为“矩阵值的 LSTM”。这种设计允许模型精确控制旧状态的保留程度,同时保留了块内并行的能力,兼顾了训练效率与模型表达的灵活性。
03统一框架与未来展望

架构演进的核心逻辑

主流线性架构(RWKV/RetNet/GLA)

追求效率与性能的平衡

  • 均属于“带遗忘门的矩阵状态 RNN”变体
  • 核心差异在于遗忘机制的灵活程度
  • 通过门控凸组合控制状态更新幅度
概率视角(MDT)

关注信息更新的几何正确性

  • 利用 KL 散度约束信念更新
  • 防止模型产生剧烈的“信念坍缩”
  • 旨在优化信息更新的几何结构
从更宏观的视角看,线性注意力、RetNet、RWKV、Mamba 和 GLA 等架构均可统一在一个简单的框架下描述,其本质区别在于遗忘机制的灵活性。这种门控机制可以被理解为一种凸组合,确保输出始终在旧状态和新信息之间,类似于在向量空间进行的信任域约束。虽然 MDT(通过 KL 散度约束)并未在计算效率上做出改进,但它揭示了注意力机制中概率分布更新的几何本质。未来的理想架构可能会结合 Mamba 等模型的高效特性与 MDT 的几何更新逻辑,同时实现计算效率与信息更新质量的优化。

评论

评论区空态插画

当前文章无评论,是时候发表评论了