突破“闭世界”瓶颈：人工智能迈向“开放世界”的三大核心原则。

开放世界人工智能三原则：丰富特征，解耦表示和推理时学习

走向未来

人工智能领域当前呈现出一个深刻的矛盾。一方面，大型模型在特定、定义明确的任务上展现出超越人类的“特定能力”。这属于“闭世界”的成功，它依赖清晰的评估标准和海量的训练数据。另一方面，我们距离实现“开放世界”的人工智能，即那种能够像人一样处理无限、未知任务、仅需少量样本且缺少先验知识的通用智能体，似乎依然遥远。

一个核心问题摆在我们面前：“闭世界”的成功能否自然延伸至“开放世界”？答案或许是否定的。特定任务的能力对于处理其他任务几乎没有帮助，原有的评估标准在面对新任务时也失去作用。我们不能简单地通过扩大数据和模型规模来“穷举”开放世界中的无限可能。这种依赖“海量数据、单次训练、固定部署”的模式，在构建通用智能的道路上可能正走向一个根本性的瓶颈。

添加图片注释，不超过 140 字（可选）

一份来自纽约大学Yann Lecun 博士生的149页《面向开放世界的人工工智能：学习原则》博士论文，对这一问题的做出了回应。它明确指出，实现开放世界的人工智能需要一套截然不同的学习原则和创新技术。该研究提出了一个由三个核心原则构成的完整框架，试图描绘出一个从当前“闭世界”迈向“开放世界”的清晰路径。对这份博士论文有兴趣的，可加入“走向未来”知识星球来获取，这三个原则层层递进，构成了一个完整的智能构建逻辑。首先是“丰富特征”，它如同一个庞大的工具箱，确保智能体拥有应对未来未知任务所需的基础能力。其次是“解耦表示”，它如同一个组织良好的工具箱，将工具（特征）分门别类，使其易于组合和调用，极大降低了学习新任务的样本需求。最后是“推理时学习”，它如同智能体拥有了一双灵巧的手，能够在遇到新任务时，实时地从工具箱中选取并组合工具（特征），从而实现真正的即时学习和适应。本文将深入剖析这三个原则及其背后的支撑技术和实验证据，探讨它们如何共同重构了我们对通用人工智能的理解。

丰富特征：挣脱独立同分布（IID）优化的枷锁

构建开放世界AI的首要前提是，模型必须具备一套“丰富特征”。这里的“丰富”并非指单一模型在特定任务上的深度，而是指特征的广度和多样性，使其足以应对训练分布之外（OOD）的未来任务。

添加图片注释，不超过 140 字（可选）

当前主流的深度学习范式，即在独立同分布（IID）数据上进行单一训练，其本质上是在“压缩”信息。无论是显式的正则化（如权重衰减）还是随机梯度下降（SGD）带来的隐式正则化，都在迫使模型寻找“最精简”的解。优化过程会无情地“修剪”掉那些对于当前训练任务“冗余”的特征。然而，这些被修剪掉的“弱相关”特征，对于未来某个新任务或新分布而言，可能恰恰是至关重要的。因此，IID训练范式本质上与“丰富特征”的目标是背道而驰的。

该研究通过一系列实验清晰地揭示了这一缺陷。一个极具说服力的证据来自CATn实验。研究者使用相同的架构和数据，仅改变随机种子，独立训练出多个模型。如果单个大型模型能够发现所有有用特征，那么这些独立模型的性能应该相似，且它们的组合不会带来太多提升。然而事实恰恰相反，当把这些独立训练模型的倒数第二层表示（特征）简单地“拼接”（CATn）起来，用这个“更丰富”的特征层去执行下游的迁移学习任务时，其性能显著超过了使用单一、但参数量（宽度）更大的模型。这有力地证明了，单一训练过程，无论模型多大，都遗漏了大量有价值的特征，而这些特征恰恰分布在多次独立训练的不同解空间中。

基于这一洞察，该研究进一步探索了两种主动构建丰富特征的策略。

第一个案例是在“不变学习”（Invariant Learning）领域。传统OOD算法（如IRM, vREx）试图通过引入惩罚项来寻找跨环境的不变特征，但它们普遍陷入了“优化-泛化困局”：惩罚项要么过强导致无法优化，要么过弱导致无法实现不变性。该研究指出，问题的根源在于初始表示中根本“缺少”足够丰富的不变特征，算法自然无从选择。为此，研究提出了BONSAI算法，通过一种对抗性的发现过程，主动地去“挖掘”那些在标准训练中被忽略的特征，构建出一个更丰富的特征集。结果显示，一旦使用了BONSAI构建的丰富特征，几乎所有现存的OOD算法性能都得到了大幅提升。这揭示了一个深刻的观点：在OOD泛化中，拥有一个“丰富特征”的表示，其重要性甚至超过了惩罚项算法本身的设计。

第二个案例是“OOD微调”。研究发现，在微调预训练模型时，使用一种反直觉的“超大比例丢弃”（Very-Large Dropout，如90%）策略，能显著提升OOD性能，甚至超过复杂的集成和权重平均方法。其背后的机制是，极端的丢弃率迫使模型在每次前向传播时，都不能依赖那些“最强”的特征，而是被迫去利用那些“弱相关”的特征。这实际上是一种在微调阶段“激活”和“利用”预训练模型中已存在但被“雪藏”的丰富特征的有效手段。

综上所述，丰富特征原则是对当前IID优化范式的第一次“反叛”。它指出，为了应对开放世界，我们必须停止对“冗余”特征的盲目修剪，转而主动地去发现、保留和利用一个远超当前任务所需的、更多样化的特征“工具箱”。

解耦表示：构建高效组合的知识结构

拥有一个庞大的工具箱（丰富特征）只是第一步。如果工具杂乱无章地堆砌在一起，智能体在面对新任务时，仍然需要耗费大量样本去学习如何找到并组合正确的工具。因此，第二个关键原则是“解耦表示”：一个组织良好的工具箱。

解耦表示的核心目标是，让模型学习到的特征维度与世界中真正各自独立的“生成因子”一一对应。例如，在一个视觉场景中，物体的颜色、形状、位置和光照应该被表示为独立的、可控的特征。这种表示的直接好处是显著降低了学习新任务的样本复杂度。如果一个新任务只是已有因子的新组合（例如，一个模型见过“蓝色方块”和“红色圆形”，它应该能仅凭少量样本甚至零样本就认识“蓝色圆形”），解耦表示就能实现这种高效的“组合泛化”。

然而，如何“迫使”神经网络学习到这种解耦结构，一直是人工智能领域的难题。该研究为此提出了一个极具创新性的机制——“预测性解耦”（Predictive Disentanglement）。这一机制的核心思想是利用“快速学习的压力”来驱动解耦。

研究者通过一个名为“记忆马赛克”（Memory Mosaics）的架构（一种与Transformer和记忆网络相关的架构）来验证这一思想。该架构的核心是基于关联记忆进行预测。在训练过程中，模型被要求在观察到一个序列（如文本）时，尽快（即在尽可能短的上下文长度内）做出准确的预测。

添加图片注释，不超过 140 字（可选）

“三月追逐”实验生动地展示了这一过程。假设一个系统需要预测三个独立运动的月亮（周期分别为p1, p2, p3）的位置。一个“纠缠”的表示会试图将三个月亮的位置视为一个单一的、复杂的“系统状态”。这样的模型需要观察完整个系统的最小公倍数周期（lcm(p1, p2, p3)）才能进行有效预测。而一个“解耦”的表示会学习去独立地跟踪每一个月亮。研究发现，当模型（记忆马赛克）被置于“快速学习”的压力下时，它会自动“选择”解耦的方案。一个拥有3个记忆头（对应3个月亮）的模型，在学习了每个月亮的最长周期（max(p1, p2, p3)）后，就能开始准确预测，这个时间点远早于lcm周期。

为什么会这样？因为解耦的表示是“学习效率最高”的表示。对于模型来说，学习3个简单的独立运动，远比学习1个极其复杂的复合运动要快得多。因此，最小化预测损失（尤其是在序列早期）的优化压力，自然地“筛选”出了解耦的表示结构。

这种机制被进一步扩展到语言模型上。实验对比了记忆马赛克和标准GPT2模型。在训练数据（BabiStories）上，两者表现相近。但在OOD数据（如简单维基百科）和更严格的上下文学习基准（REGBENCH）上，记忆马赛克的表现显著优于Transformer。这表明，在“预测性解耦”压力下，记忆马赛克学习到了一种更具组合性、更鲁棒的知识结构，使其能够更灵活地将已学知识“重组”以适应新情境，而不仅仅是“记住”训练数据中的统计模式。

解耦表示原则，因此是在丰富特征的基础上，为智能体提供了组织知识的“语法”。它使得智能体不再是被动地记忆高维数据，而是主动地去理解世界背后的独立因子，这是实现高效组合泛化、应对开放世界无限组合性的关键一步。

推理时学习：从“预计算智能”到“即时学习”

具备了丰富且解耦的特征库，智能体如何在新环境中真正“使用”它们？“开放世界”的两个核心挑战是：知识的组合爆炸性（我们无法预先训练所有可能的任务组合）和知识的动态变化性（新知识不断涌现）。

添加图片注释，不超过 140 字（可选）

当前“预训练-微调”的范式试图解决这个问题，但它并不理想。微调（一种模型基础上的学习）本质上会改变模型的权重，这极易导致“灾难性遗忘”——学会了新任务，忘记了旧知识。此外，微调本身需要复杂的超参数调优，这依然需要大量的人类先验知识介入，智能体并非自主学习。

该研究提出了第三个原则，也是整个框架的“执行者”——“推理时学习”（Inference-Time Learning）。这是一个全新的学习范式，它主张将“学习”这一行为从训练阶段后移至推理阶段。

这一“推理时学习”的全新范式，其深刻洞见不仅停留在理论层面，实际上，它已经与当前解决大型模型核心缺陷（如幻觉和知识陈旧）的主流工程实践不谋而合。著名AI专家、在AI芯片与大模型应用领域拥有系统性实践经验的王文广，在其灯塔书《知识增强大模型》中，便系统性地阐述了这一思想的工程实现。书中第四章深入探讨的“检索增强生成”（RAG）技术，其核心正是“推理时学习”的体现：冻结一个庞大的基础模型（预训练阶段），转而在推理时（推理阶段）通过向量数据库（一种基于记忆的学习）来检索和注入新知识，从而在不重新训练的情况下解决知识动态更新的问题。

这种“混合策略”的潜力远不止于此。本文所分析的“解耦表示”（原则二），在《知识增强大模型》一书中也得到了实践层面的呼应。王文广在第八章和第九章中重点论述的“图模互补”与“GraphRAG”范式，正是将高度结构化、解耦的“知识图谱”作为外部记忆，与大模型在推理时进行深度结合。这不仅克服了传统记忆学习的“维度灾难”，更实现了本文所论述的在高度结构化语义空间中的非参数化学习。因此，可以说，本文所分析的理论框架，从学习原则的高度，为RAG和GraphRAG等前沿实践提供了坚实的理论支撑，指明了“梯度预训练（准备基础）+ 记忆推理（即时学习）”是通往开放世界智能的必然路径。

添加图片注释，不超过 140 字（可选）

这个范式的核心是一个“混合策略”。首先，在“预训练”阶段（如同人类的成长和教育），我们使用基于梯度的优化（如前两个原则所述），不惜一切代价构建一个极其强大、丰富且高度解耦的“特征表示空间”。这个空间是智能体所有潜在能力的“基础”。

然后，在“推理”阶段（如同人类在工作中遇到具体问题），智能体“冻结”这个庞大的基础模型，转而使用“基于记忆的学习”（Memory-Based Learning，如K-NN或核回归）。当新任务的少量样本（few-shots）出现时，智能体将这些样本作为“键值对”存入一个外部或上下文记忆中。当新查询到来时，智能体利用其强大的基础模型提取查询的“解耦特征”，然后用这个特征去记忆库中进行非参数化的“匹配”和“插值”，从而瞬时完成学习和预测。

这个混合策略精妙地解决了开放世界的挑战。一方面，“基于记忆”的学习是局部的，添加新任务的记忆（样本）不会干扰或覆盖旧任务的知识，从而天然地避免了灾难性遗忘。另一方面，传统记忆学习的“维度灾真”（在高维空间中所有点都彼此远离）被彻底解决了，因为匹配和插值不再是在原始输入空间（如像素）进行，而是在预训练好的、高度结构化和解耦的“语义特征空间”中进行。

添加图片注释，不超过 140 字（可选）

研究者通过Memory Mosaics v2架构（一个具备自适应带宽、门控时变键和三级记忆的先进模型）在大型语言模型上验证了这一范式。实验结果极其震撼：

1. 在“新知识存储与检索”任务上（如多文档问答），MMv2的表现远超同等规模的Transformer。它能够在不经过微调的情况下，将上下文长度外推数倍，并准确检索到新注入的知识。

2. 在“上下文学习”（即时学习新任务）的分类任务上，MMv2展现了真正的“学习”能力。随着提供的样本（shots）增多，其准确率稳定提升。而作为对比的Transformer，在样本增多后，性能反而经常下降。这揭示了一个惊人事实：Transformer的“上下文学习”可能更多是一种“模式匹配”或“检索”，而非真正的“学习”，它在面对与训练模式不符的新样本时会“困惑”；而MMv2则是在其解耦的特征空间中，执行了鲁棒的“非参数回归”，真正地在学习新任务的决策边界。

3. 在扩展性对比上，一个在1T tokens上训练的MMv2，其开放世界能力（如新知识检索和上下文学习）显著超过了一个在8T tokens上训练的Transformer。这表明，“推理时学习”范式在实现通用智能方面，具有远高于当前主流范式的“效率”和“上限”。它用“更优的结构”战胜了“更大的数据”。

结论：重构通往通用智能的路径

《面向开放世界的人工智能》这项研究，其价值远超提出一个新颖的模型架构（记忆马赛克）。它为我们提供了对“学习”本身的一次深刻反思，并为构建开放世界AI提出了一个逻辑严密且层层递进的全新蓝图。

它否定了当前“闭世界”范式（单一IID优化）能够通往AGI的幻想，并系统性地提出了“三步走”的替代方案：

添加图片注释，不超过 140 字（可选）

1. 准备基础（丰富特征）： 我们必须改变优化目标，从“压缩”转向“扩充”，通过多轮次、对抗性发现等手段，构建一个远超当前所需的特征库。

2. 组织结构（解耦表示）： 我们必须施加“快速学习”的压力，迫使模型去发现知识背后的独立因子，形成可组合的、解耦的知识结构。

3. 执行学习（推理时学习）： 我们必须转变学习范式，从“预计算”智能转向“即时学习”智能。通过“梯度预训练（准备基础）+ 记忆推理（即时学习）”的混合策略，赋能智能体在不遗忘、不需人工干预的情况下，自主适应开放世界的无限变化。

这个框架将智能的重心从一个单一的、静态的“模型”转移到了一个动态的“学习过程”。这也预示着未来AI的发展方向：我们需要的可能不仅仅是更强的计算并行化硬件（如GPU），更需要能够高效处理记忆、匹配和序列化反馈的新型计算架构。这或许才是从当前人工智能的“特定能力”奇迹，迈向“通用智能”现实的真正路径。