什么值得买App下载 App ›
连续签到专享现金活动

蚂蚁:首个“问诊过程级”医疗LLM评测框架

现有医疗大模型评测多关注单点答案,忽视了临床最核心的多轮问诊过程。一个全新的评测框架应运而生,它聚焦于模型如何采集信息、如何推理,为衡量LLM的真实临床能力提供了更科学、更贴近实际的标尺。

蚂蚁:首个“问诊过程级”医疗LLM评测框架智能速览

  • 首个关注问诊过程的医疗LLM评测基准,评价标准对齐真实临床逻辑。

  • 构建了5200个隐私安全的合成患者案例,规避真实数据合规风险。

  • 基于6万+循证医学条目生成评测标准,确保专业性与覆盖度。

  • 顶尖模型(Gemini-2.5-Pro)关键问题覆盖率仅约52%,暴露核心短板。

蚂蚁:首个“问诊过程级”医疗LLM评测框架精华内容

这项评测框架的设计思路与发现,揭示了当前医疗AI在临床推理上的真实瓶颈,远不止知识储备那么简单。

评测之困

当前医疗大模型的评测体系普遍存在局限性,大多集中在单轮问答或最终诊断结果的准确性上。这种方式忽略了临床实践中最关键的环节:医生与患者多轮互动中的信息采集与诊断推理。一个优秀的医疗AI,不仅需要知道最终答案,更应懂得如何通过有效的提问来引导患者、获取关键信息,从而形成完整的诊断链条。现有评测无法衡量模型“该不该问、有没有问、问得对不对”这些核心临床能力。

破局之道

MedDialogRubrics 框架通过一系列创新设计解决了这一难题。首先,它基于疾病知识图谱与多智能体协作技术,生成了5200个完全合成的、不涉及任何真实电子病历的患者案例,从根源上规避了数据隐私与合规风险。其次,其 Patient Agent 设计采用了“原子医学事实+严格遵循+动态纠错”机制,有效降低了模拟患者对话时的幻觉率,确保了评测场景的真实性。

精密标尺

评测的“标尺”本身同样精密。该框架生成了超过6万个基于循证医学指南的细粒度评分标准,明确了每种疾病场景下“必须询问”的关键问题点,并由临床专家审核确认。评分标准的生成采用了多智能体Reject Sampling机制,通过生成、评估、验证、改写的闭环流程,确保其能够覆盖关键的红旗征象与鉴别诊断要点,保证了评测的专业性和权威性。

能力边界

评测结果揭示了当前顶尖模型的普遍短板。实验表明,即使是表现最优的Gemini-2.5-Pro模型,在8-12轮的问诊后,关键询问点的覆盖率也仅达到约52%。GPT-5则表现出“慢热”特性,需要更长轮次才能接近最优水平。而Qwen3-235B与DeepSeek-R1则较早进入平台期。结论非常明确:当前医疗大模型的核心瓶颈并非知识储备量,而是在多轮对话中主动提问与规划对话路径的能力。

这套框架为医疗AI的进步指明了新方向,真正的挑战在于对话交互与推理能力。未来,医疗大模型能否突破这一瓶颈,真正成为医生的得力助手?

评论

评论区空态插画

当前文章无评论,是时候发表评论了