医疗多模态大模型在实际应用中易受噪声干扰，影响诊断可靠性。一项新研究直面此问题，通过构建首个综合评估基准，并创新性地提出无需训练的IMC框架，显著提升了模型在图像伪影和文本错误等复杂噪声环境下的稳健表现，为AI医疗的安全落地提供了重要思路。
智能速览
构建首个医疗多模态大模型鲁棒性基准 RobustMed-Bench。
实证表明主流模型在图像伪影和文本错误下性能显著下降。
提出无训练的 IMC 框架，遵循“感知-校准”原则。
视觉模态采用PDC技术，文本模态采用SMS系统进行增强。
新方法在主流数据集上实现了跨模态噪声鲁棒性最优提升。
精华内容
面对医疗AI在真实世界中的“脆弱性”，研究不仅揭示了问题的严重性，更提出了一套行之有效的解决框架，其核心在于精准感知与动态校准。
问题量化
为系统评估医疗MLLMs的鲁棒性，研究构建了首个综合基准RobustMed-Bench，涵盖11种模态噪声。测试结果触目惊心：当输入图像存在伪影或文本包含错误时，当前主流模型的性能均出现显著下滑。特别是开源模型，其ROUGE值降幅达到了13%-15%，这表明在追求高性能的同时，模型的稳定性被严重忽视，对临床应用构成潜在风险。
IMC新框架
针对上述挑战，研究提出了一种创新的无训练框架IMC。该框架的核心优势在于无需重新训练或修改模型内部参数，通过外部干预即可增强鲁棒性，具有极高的通用性和部署便捷性。IMC框架遵循“感知-校准”的基本原则，旨在先精准识别噪声，再针对性地进行修正，从而恢复模型在干净环境下的性能水平。
双模态增强
IMC框架的实现分为视觉和文本两条路径。在视觉端，采用扰动感知去噪校准（PDC）技术，它能智能识别并滤除图像中的医学伪影。在文本端，则部署了自实例化多智能体系统（SMS），通过多个智能体协作，对输入文本的错误进行交叉验证和修正。这种双管齐下的设计，确保了跨模态信息的协同增强。
效果验证
在SLAKE和OmniMed这两个权威医疗问答数据集上的实验，充分证明了IMC框架的有效性。与现有基线方法相比，该框架在处理各类噪声干扰时均取得了最优的鲁棒性提升。这一成果不仅解决了当前MLLMs的关键短板，也为未来构建更加可靠、安全的医疗AI系统奠定了坚实的技术基础，向临床应用迈出了关键一步。
此项研究为提升医疗AI的可靠性提供了从评估到优化的完整闭环。IMC框架的出现，让人们看到即便在不触碰庞大模型参数的前提下，也能有效提升其抗干扰能力。未来，这种无训练的增强思路能否推广至更多通用大模型，值得业界共同探索。
