什么值得买App下载 App ›
连续签到专享现金活动

如何理解 DeepSeek 最新提出的 mHC 架构?

DeepSeek最新提出的mHC架构旨在优化大语言模型中的信息传递方式。该架构作为对传统残差连接的替代方案,通过引入扩维与双随机矩阵机制,实现了在不显著增加计算成本的前提下提升信息容量。实验表明,mHC能够有效解决模型训练中的不稳定性问题,并在推理任务中表现出更高的性能。
01传统残差连接的局限性
在标准的Transformer架构中,残差连接负责将上层计算得到的新信息叠加到原始向量上。这一过程仅进行简单的向量相加,虽然保留了原始信息,但在处理复杂语义时显得过于机械。随着模型层数的加深,这种简单叠加可能导致信息传递效率下降,无法充分利用上下文特征。
02mHC的核心机制:扩维与混合
mHC(Modified Hyper-Connections)对残差连接进行了重构,其核心在于将信息流从原来的单维度扩展到多维度(通常为4倍),并通过线性变换进行混合。具体而言,旧向量被复制并乘以相应权重后堆叠成宽向量,随后通过一个4x4的权重矩阵进行特征混合。新向量则经过分发后加入到混合后的旧特征中。这种设计不仅扩大了信息传递的容量,还通过乘法运算赋予了模型筛选特征的能力,类似调音台对信号的调节。
03双随机矩阵约束的稳定性作用
为了解决HC架构中信号过度放大的问题,mHC引入了双随机矩阵约束(非负、行和列的和均为1)。这一限制类似于注意力机制中的Softmax归一化,使得信息在增强的同时不会随着层数加深而过度膨胀。双随机矩阵确保了信号在传递过程中的稳定性,平衡了模型的可塑性与稳定性需求。
04实验结果与性能提升
对比维度标准残差连接mHC架构
残差流宽度C (2560维)4C (10240维)
信息处理方式简单向量相加扩维后线性变换与混合
稳定性较稳定,但信息容量受限双随机矩阵约束,信号不过度增强
计算成本与输入维度强相关信息容量与计算复杂度解耦
实验性能基准表现Loss显著更低,下游任务分数更高

标准残差连接与mHC架构对比

基于DeepSeek-V3架构(27B参数)的实验结果显示,引入mHC后,模型的Loss显著降低,在数学(MATH)、代码及逻辑推理(BBH)等下游任务中的得分均高于基准模型。性能曲线表明,达到同等智能水平时,mHC模型所需的训练计算量更少。这一结果暗示,在维持高性能的同时,可以通过缩小FFN规模来进一步优化模型参数量。
综上所述,mHC架构通过解耦残差流的信息容量与计算复杂度,为大语言模型的高效训练提供了新的思路。其扩维与双随机约束的设计,不仅提升了信息传递的清晰度和解耦能力,还在保证训练稳定性的前提下实现了性能的显著提升。

评论

评论区空态插画

当前文章无评论,是时候发表评论了