面对被称为“人类最后一场考试”的HLE，现有大模型普遍不及格。一项新研究提出的MemRL框架，通过引入“意图-经验-效用”三元组记忆，让AI在不微调模型的情况下，通过运行时自我强化学习，将准确率提升至61.3%，实现了从死记硬背到“思考如何运用经验”的关键跨越。
智能速览
MemRL框架让AI在“人类最后一场考试”中取得61.3%的准确率。
传统RAG和微调方法存在检索噪声和灾难性遗忘问题。
MemRL引入“意图-经验-效用”记忆三元组，为经验打分。
无需参数更新，MemRL在运行时通过强化学习实现自我进化。
在多步长程任务中，MemRL性能提升远超单步任务。
理论上保证了算法的收敛稳定性，有效避免灾难性遗忘。
精华内容
MemRL的核心在于将稳定推理与动态记忆解耦，它不改变模型本身，而是赋予其一套能自我优化的经验系统。接下来，将解析其实现原理与惊人效果。
认知觉醒
MemRL的核心理念是将模型稳定的推理能力与动态的情景记忆解耦，如同一个智商固定的人通过优化“方法笔记”来解决新问题。它告别了传统RAG仅依赖语义相似度的盲目检索，引入了“意图-经验-效用”三元组。
这意味着每一条记忆不仅记录了“想做什么”和“做了什么”，还附加了一个“这一招好不好用”的效用分数。这种机制让AI能够像人类一样，不仅检索相关经验，更评估其参考价值，从“我记得什么”转变为“过往经验中哪些值得借鉴”。
自我进化
MemRL的自我进化完全在记忆空间内完成，无需任何参数更新。其进化包含两个并行过程。
一是Q值更新，当Agent完成任务并获得反馈后，系统会以蒙特卡洛方式更新刚才使用过的记忆的效用分数。帮上大忙的记忆分数上升，反之则下降。
二是经验回写，系统会将当前完整轨迹通过LLM总结为新经验，并赋予初始效用值，存入记忆库。这一过程使得记忆库既能修正旧知，又能扩充新知，实现运行时的持续学习。
实测性能
在四大基准测试中，MemRL展现了惊人的Runtime Learning能力。尤其是在高难度的“人类最后一场考试”（HLE）上，其准确率达到61.3%，首次突破60%大关。
对比实验同样令人印象深刻：在ALFWorld具身决策任务中，MemRL最终准确率为69.7%，相比先进的MemP方法（45.6%）提升了53%。所有这些性能提升，均在完全不更新模型参数的条件下实现。
深层优势
MemRL的优势不仅体现在数据上，更体现在其独特的机制上。实验发现，任务链路越长，其优势越大，因为它能充当“轨迹验证器”，预判并避开表面相关但会导致失败的路径。
更深入的分析发现，系统会保留约12%的高Q值失败案例，这些“差一点就成功”的经验成为了宝贵的纠错指南。更重要的是，其蒙特卡洛式建模拥有理论保证的收敛稳定性，有效避免了持续学习中常见的“灾难性遗忘”问题，确保性能单调不减。
MemRL为AI社区提供了一个新范式：一个冻结的大脑配合一个自我进化的记忆系统，就能实现终身学习。这或许是通往AGI更经济、高效的路径，也让我们对未来Agent的能力有了新的想象。
