Transformer模型统治AI多年，但其静态性、计算深度不足等问题日益凸显。谷歌一项名为“Nested Learning”的新研究，从神经科学视角出发，认为传统深度学习的“深度”只是表象。该框架通过多级嵌套优化，有望真正解决模型的持续学习难题，实现更接近人脑的智能，为AI架构演进提供了全新方向。
智能速览
Transformer模型存在静态性、无法持续学习等根本局限。
Nested Learning认为深度学习的“深度”是幻觉，核心在于多级嵌套优化。
该框架受大脑多时间尺度处理机制启发，模拟不同频率脑波的功能。
论文提出的HOPE模块，能有效解决灾难性遗忘和长上下文推理难题。
实验证明，Nested Learning在多项基准测试中表现优于Transformer。
精华内容
Transformer通过堆叠层实现深度，但这真的足够吗？谷歌的研究者从神经科学中找到了答案，提出了Nested Learning框架，让我们看看它如何重塑机器学习的基本假设。
Transformer的瓶颈
Transformer模型虽已成为AI领域的基石，但其设计存在固有问题。首先是静态性，模型预训练后参数即固定，无法从新数据中持续学习，类似于前向遗忘症，只能处理短期上下文而无法形成新的长期记忆。
其次是计算深度不足，尽管可以堆叠更多层数，但研究表明其在处理复杂序列任务时，实际表现与浅层模型相差无几。
最后是持续学习的难题，当学习新任务时，模型极易出现“灾难性遗忘”，新知识会覆盖旧知识，导致性能下降。这些瓶颈限制了Transformer向更高阶智能发展的可能。
嵌套学习的构想
Nested Learning（NL）框架的核心思想是将模型和训练过程视为一组嵌套的、多级的优化问题。它认为学习本质上是压缩上下文信息的过程。与传统Transformer不同，NL设计了多级结构，每一级都有自己的“上下文流”和优化目标。
高频级（低级）负责快速适应和处理短期信息，类似于大脑的Gamma波；低频级（高级）则负责存储持久知识，如同Theta波进行记忆巩固。Transformer本质上是一个两级系统，而NL通过增加级数，赋予了模型更强大的表达能力和计算深度，实现了“更高阶的in-context learning”。
核心创新与优势
论文不仅提出了理论，还给出了具体的创新模块。其中最关键的是HOPE（Hierarchical Optimized and Persistent Executor），它替换了Transformer中静态的MLP层。HOPE结合了自修改学习模块和连续内存系统，使模型能够在推理过程中动态更新自身参数。
这种设计让模型拥有了循环记忆能力，被遗忘的知识甚至可以被部分恢复。HOPE通过多频神经元机制，让不同级别的“记忆”以不同速度更新和遗忘，从而有效解决了灾难性遗忘问题。
实证表现超越
为了验证NL框架的有效性，研究团队进行了一系列实验。在持续学习任务中，当需要连续学习两种新语言时，Transformer出现了严重的遗忘现象，而集成了HOPE-3（3级内存）的模型几乎无遗忘，性能恢复到了单语言水平。
在长达10M token的长上下文推理基准测试中，HOPE模型的表现也显著优于RWKV、Titans等基线模型，而Transformer在处理长序列时性能衰减非常快。在语言建模和推理任务上，1.3B参数的HOPE模型平均准确率达到58.04%，超过了同规模Transformer的53.38%。
Nested Learning不仅是对Transformer的挑战，更是对深度学习架构的一次深刻反思。它揭示了简单堆叠层的局限性，并从神经科学中汲取智慧，开辟了通往真正持续学习和深度计算的新路径。HOPE模块的初步成功，预示着一个更自适应、更高效的AI模型时代的到来。这是否会成为下一代AI的主流架构，值得整个行业关注和期待。
