张大妈

复旦:检索动态记忆解决医学大模型持续学习

源自小红薯:每日ComputerScience

01-31 20:37

医学AI模型在学习新任务时常忘记旧知识,即“灾难性遗忘”。复旦大学提出的PRIMED框架,利用检索驱动的动态记忆,有效解决了这一核心难题,为医学大模型的持续进化提供了实用且高效的新路径。

复旦:检索动态记忆解决医学大模型持续学习智能速览

  • PRIMED框架首次将检索增强生成系统性引入医学持续学习领域。

  • 构建了包含1800万图文对的庞大多模态医学检索数据库。

  • 通过多阶段检索机制,实现跨模态、跨领域的高精度知识召回。

  • 动态Fisher权重保护技术,精细平衡新旧知识的学习过程。

  • 在全新医学基准测试中,表现全面超越现有主流方法。

复旦:检索动态记忆解决医学大模型持续学习精华内容

PRIMED框架如何通过其精巧设计,在持续学习中兼顾效率与效果,避免知识遗忘?

检索革新

PRIMED的核心是检索驱动的动态记忆机制,它用外部知识检索替代了传统的样本回放。团队基于PubMed构建了包含约1800万图文对的庞大医学多模态检索库,并配套3000条细粒度问题。这种做法让模型在学习新任务时,能实时、精准地调取相关旧知识,从根本上解决了数据访问的瓶颈问题。

动态召回

为避免关键词误匹配,PRIMED设计了一套动态多阶段检索流程。该流程首先通过向量检索进行初步筛选,随后利用视觉重排序对图文匹配度进行精细化调整,最后引入BM25词法门控,确保跨模态、跨领域知识召回的高精度。这种分层处理方式,显著提升了召回知识的准确性与相关性。

知识平衡

模型在持续微调中,为防止零样本能力下降和模态对齐结构被破坏,PRIMED提出了对比式知识迁移(CKT)与跨模态一致性(CMC)损失。同时,动态Fisher权重保护(DFG)技术通过实时估计参数重要性,自适应调节正则化强度,在稳定旧知识与吸收新知识之间实现了精细平衡。

实测效果

在全新设计的医学持续学习基准MGTIL上,PRIMED的表现全面超越了ZSCL、GIFT等当前最优方法。实验数据表明,该框架在不访问原始训练数据的前提下,显著降低了灾难性遗忘,尤其是在高难度的医学分类任务中,其ACC、AUC等关键指标提升尤为突出,证明了其在真实临床应用中的巨大潜力。

PRIMED框架为解决医学大模型的持续学习与遗忘难题提供了系统性方案,其创新性的检索与动态平衡机制极具启发性。当AI能不断学习新知而不遗忘旧识,未来的医疗智能将会走向何方?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章