移动App频繁更新导致GUI智能体失效。复旦大学提出的MAGNET框架，通过记忆驱动的方法，让智能体理解“表层变化下的不变结构”，从而在界面演进中保持高可用性和泛化能力，为长期运行的自动化任务提供了新思路。
智能速览
MAGNET框架区分UI外观漂移与工作流漂移，精准定义问题。
双层记忆架构分别存储抽象工作流与功能-视觉对，应对不同变化。
记忆进化机制模拟遗忘曲线，动态更新和淘汰过期知识。
框架构建了4.1万条数据的UI-40K数据集，推动领域发展。
该记忆设计可独立于基础模型，与多种主流模型即插即用。
精华内容
MAGNET的核心在于它不只是学习操作，更是建立了一套动态记忆系统，让智能体学会“遗忘”和“变通”，从而在不确定的环境中保持智能。
双重漂移建模
MAGNET首先明确了GUI智能体失效的根源，将其分为两类：UI外观漂移和工作流漂移。前者指App图标、布局等视觉元素变化但功能未变，后者指完成任务的步骤路径重排但用户意图不变。这种清晰的区分为后续设计自适应系统提供了坚实的理论基础，确保了方案的针对性。
双层记忆架构
为应对双重漂移，MAGNET设计了双层记忆架构。Procedural Memory（程序性记忆）存储“任务意图级”的抽象工作流模板，即便具体操作步骤变了，核心任务流程依然有效。
Stationary Memory（静态记忆）则负责存储“功能语义—视觉实例”对，即使图标或按钮样式更新，智能体也能通过功能描述稳定定位到目标元素，实现了功能与解耦的视觉识别。
记忆进化机制
记忆并非一成不变。MAGNET引入了动态记忆进化机制，通过时间戳和使用频率为每条记忆计算一个保留分数。这类似于人类的遗忘曲线，低分、陈旧的记忆会被自动淘汰或降级，而高频、新近的成功经验则会得到保留和强化。这保证了智能体的知识库始终是与时俱进的，避免了因过时信息导致的决策失误。
自动化与扩展
该框架的实用性体现在其自动化流程上。它能够从成功的执行轨迹中自动抽象出工作流模板，并利用多模态大模型为截取的UI元素生成功能描述，极大降低了人工标注成本。
同时，MAGNET构建了包含4.1万条UI元素级记忆的UI-40K数据集，为整个社区的研究提供了宝贵资源。其架构设计具有普适性，在Qwen、Gemini等不同planner-actor模型组合下均能稳定提升性能，证明了记忆模块的价值可独立于基础模型而存在。
MAGNET为GUI智能体的长期学习和自适应提供了系统性的解决方案，其记忆驱动的设计理念具有很强的启发性。它不仅让RPA等自动化工具更“皮实”，也为通用智能体如何在动态物理世界中持续进化指明了方向，未来的应用场景值得期待。
