如何让部署后的智能体持续提升性能，同时保持预训练模型的稳定性？上海交大提出的MEMRL框架给出了新答案。该框架通过非参数强化学习，使智能体能动态优化运行时记忆，实现自我进化，为构建更具适应性的AI系统提供了新思路。
智能速览
MEMRL是一个非参数强化学习框架，允许智能体在不更新模型参数的情况下自我进化。
它采用“意图-经验-效用”三元组来组织和优化智能体的记忆。
通过引入价值感知检索和效用驱动的记忆筛选机制，提升记忆使用效率。
将记忆使用过程建模为记忆增强的马尔可夫决策过程（M-MDP）。
实验证明该框架在多个基准测试中表现优异，有效平衡了稳定性和灵活性。
精华内容
MEMRL的核心在于一种创新的非参数学习范式，它将记忆检索本身视为一个可优化的决策过程，从而实现了智能体在运行时的持续进化。
模型-记忆解耦
MEMRL框架首先构建了一个基于模型-记忆解耦的运行时学习架构。这种设计将智能体的核心预训练模型与动态更新的运行时记忆分离开来，确保了预训练知识的稳定性不会因后续学习而受损。
记忆的组织采用了独特的“意图-经验-效用”三元组结构。其中，“意图”定义了任务目标，“经验”记录了具体执行过程，而“效用”则量化了该段记忆对未来任务的潜在价值。这种结构化的记忆组织方式，为后续的精准检索和优化奠定了基础。
价值驱动检索
为了从海量记忆中高效提取有用信息，MEMRL设计了一套两阶段检索机制。第一阶段是语义回忆，根据当前任务意图快速筛选出相关的记忆片段。
第二阶段是基于价值的选择，即VALUE-Aware Retrieval。系统会评估每一段被检索出记忆的效用值，优先选择那些被证明对完成任务有高价值的记忆。同时，配合Utility-Driven Memory Curation（效用驱动的记忆筛选），智能体能够主动优化和更新记忆库，淘汰低价值信息，从而在不更新模型参数的情况下完成学习闭环。
记忆即决策过程
MEMRL理论上的关键创新，在于将“使用哪段记忆”这一行为，建模为一个记忆增强的马尔可夫决策过程（M-MDP）。在这个框架下，记忆检索不再是简单的匹配，而是一个完整的决策过程。
智能体通过强化学习来优化一个关于记忆使用策略的价值函数（即Q值）。在动态环境中，智能体根据环境反馈，通过贝尔曼备份等算法不断迭代更新每段记忆的效用Q值，使其能够动态适应环境变化，学会在不同情境下调用最优记忆。
实验验证优势
在四个不同类型的基准测试中，MEMRL框架均表现出了超越传统记忆增强方法的性能。尤其是在需要大量探索的复杂环境中，其优势更为明显，任务成功率显著提升。
深入分析发现，通过MEMRL学习到的记忆效用值与任务的实际成功率之间存在强相关性，这验证了其核心机制的有效性。此外，该框架在保留已有知识（稳定性）与适应新任务（灵活性）之间取得了出色的平衡。在迁移学习任务中，面对从未见过的新任务，MEMRL也展示出强大的泛化能力。
MEMRL框架为解决智能体持续学习与模型稳定性之间的矛盾提供了一个优雅的方案，它将学习焦点从参数更新转移到记忆优化上。这种非参数的自我进化模式，或许是未来构建真正持久且自适应AI系统的一条重要路径，它能否催生出更聪明的智能体应用？
