Hidden Decoding:不改 Transformer,只扩 Embedding,让模型在隐空间里多想几步
随着 Thinking 模型的兴起,通过拉长思维链来扩展 Test-Time Compute 已成为提升模型效果的主流路径。然而,这种方法在带来性能增益的同时,也导致了推理延迟的线性增长,且模型被迫在离散的自然语言空间中进行“思考”,效率并非最优。针对这一痛点,Hidden Decoding 提出了一种新的路径:在不改变 Transformer 主体架构的前提下,通过扩展输入端的 Embedding,让模型在连续隐空间内完成推理,从而在不增加输出 token 的情况下提升模型性能。
01核心原理:多 Embedding 交错机制
Hidden Decoding 的核心逻辑是在序列长度维度引入并行扩展。具体做法是准备 n 个不同的 Embedding 矩阵,将同一个 token 序列编码 n 遍,并将结果按位置交错排列,组合成一个 n 倍长度的序列输入 Transformer。在这个过程中,只有最后一个 Embedding 负责输出预测,前 n-1 个 Embedding 作为隐式推理步骤,不参与 loss 计算,仅通过前向传播为最终预测提供更丰富的上下文信息。
推理机制对比
Hidden Decoding 机制
隐空间内进行并行推理
- 多组 Embedding 交错排列
- 前 n-1 步为隐式推理
- 不生成额外 token,不增加输出长度
- 访存开销极低
传统 Chain-of-Thought
显式输出思维链
- 在离散空间生成 reasoning token
- 推理延迟随长度线性增长
- 显式输出,可被人类阅读
- 计算开销较高
02训练策略与关键设计
在训练策略上,Hidden Decoding 采用了“周期性复制初始化”。当需要扩展 Embedding 矩阵时(如从 n 个扩展到 2n 个),新增的权重直接复制已有矩阵。这种策略确保了模型在继承已有能力的前提下平滑过渡,无需从头开始训练。实验表明,保留中间推理步骤的生成自由度至关重要,若强迫中间步骤拟合最终答案,反而会限制模型的表达能力。
- 初始化策略
采用周期性复制初始化,新增 Embedding 直接复制已有权重,并相应调整 RoPE Base。 - 渐进式扩展
在 WeLM-V4-80B-A3B 的 1.4T token annealing 阶段,分别在不同阶段进行 2×、4×、8× 的扩展。 - 损失计算
仅在每个 token 的最后一个 Embedding(即 Eₙ)处计算 next-token loss,确保中间步骤专注于隐式推理。
03实验效果与性能表现
| 模型配置 | 参数变化 | MATH 数据集得分 | 其他 Benchmark 表现 |
|---|---|---|---|
| MoE 模型 (80B/3B Active) | Embedding: 6.1B → 48.4B | 60.4 → 71.7 | 一致提升 |
| 传统 Dense 模型 | Embedding: 1.2B → 5.6B | 显著提升 | 一致提升 |
Hidden Decoding 在不同模型架构下的实验效果
实验数据显示,Hidden Decoding 在 MATH 数据集上实现了从 60.4 到 71.7 的显著提升,而这一增益仅来自 Embedding 参数的增加。在传统 Dense 模型上,该方法同样表现出一致的 Benchmark 提升。此外,观察发现 Hidden Decoding 模型在所有领域均表现出更低的平均输出熵,这意味着模型能更直接地通过隐式计算转化为 pass@1 上的准确率提升,通常这种效果需要高强度的强化学习才能实现。
04总结与定位
Hidden Decoding 本质上是一种 compute scaling 方案,通过扩展序列长度让每个 token 获得更多计算量,而非传统的加深或加宽网络。虽然推理计算量会随序列长度扩展而增加,但考虑到其带来的显著性能提升及无需显式输出推理过程的特性,被视为合理的权衡。
技术定位对比
隐式推理
预训练阶段的内置“潜意识推理”
不改变模型架构,仅扩展 Embedding
推理过程不产生可见输出


显式推理
推理阶段的显式“有意识推理”
通过生成 reasoning token 拓展计算
推理过程可见,便于人类监督
当前文章无评论,是时候发表评论了