大语言模型如何在不更新权重的情况下，像人类一样从经验中持续进化？MEMRL框架提供了一种新思路。它通过引入情景记忆和强化学习，让模型在运行时自我迭代，有效解决了传统微调的高成本和灾难性遗忘问题。
智能速览
首次将LLM的推理能力与外部情景记忆解耦。
记忆结构化为“意图-经验-效用”三元组，实现主动决策。
采用两阶段检索机制，先语义筛选再基于效用重排。
通过非参数强化学习更新记忆，实现低成本、无遗忘的进化。
精华内容
MEMRL框架的核心魅力在于其精巧的设计。它并非简单地堆砌技术，而是通过一系列创新机制，系统地解决了大模型持续学习中的几个关键痛点。
模型记忆解耦
传统LLM面临一个根本矛盾：更新权重以学习新知识可能导致灾难性遗忘，而不更新则无法进化。MEMRL通过模型-记忆解耦设计破解了这一“稳定性-可塑性”困境。它将冻结的LLM作为稳定的推理核心，保证其预训练的稳健性；同时，引入一个外部的动态情景记忆系统，专门负责学习和存储新经验。这种设计让模型的推理能力与可塑性学习彻底分离，各司其职。
结构化记忆
与RAG被动地进行语义匹配不同，MEMRL将记忆组织为“意图-经验-效用”三元组。这里的“意图”代表任务目标，“经验”是采取的行动和观察，“效用”则是该经验带来的价值。这种结构化设计，使得记忆检索从寻找“语义相似”的内容，转变为基于Q值（预期效用）的主动决策过程。模型不再是机械地匹配文本，而是主动评估哪段历史经验对当前任务最有帮助。
两阶段检索
为了提升检索效率和准确性，MEMRL设计了一个两阶段检索机制。第一阶段是粗筛，系统通过语义相关性快速从海量记忆中筛选出一批候选记忆，缩小范围。第二阶段是精筛，模型利用学习到的Q值对这些候选记忆进行重排序，并最终选择出预期效用最高的那一条经验。这种机制有效过滤了那些“语义相似但实际效用低”的噪声记忆，确保了决策的质量。
非参数学习
MEMRL最关键的一点是其非参数特性。模型通过与环境的交互获得反馈（例如任务成功或失败），并利用时序差分（TD）算法来动态更新记忆中的Q值。整个过程完全不修改LLM自身的任何权重参数，真正实现了运行时学习。这不仅避免了微调的巨大计算成本，也杜绝了灾难性遗忘的风险。理论上，该学习过程满足贝尔曼收缩，保证了收敛的稳定性。
MEMRL为大模型开辟了一条通往通用智能的全新路径。它证明了在不牺牲核心能力的前提下，模型也能实现类似生物的适应性进化。未来，这种记忆驱动的学习范式能否在更复杂的Agent系统中大放异彩？
