什么值得买App下载 App ›
连续签到专享现金活动

放射科医生彻底慌了!斯坦福重磅研究:AI根本没看到X光片,却写出了详细诊断

想象一个场景:一位放射科医生接过患者的胸部X光片,认真审视片刻后,给出了一份详细的诊断报告——左心室增大、肺部纹理增粗,建议进一步检查。然而,这份看似专业的报告背后藏着一个令人脊背发凉的事实:医生从头到尾根本没有看到那张X光片,一切诊断都是凭空编造的。这不是虚构的笑话,而是斯坦福大学李飞飞团队在2026年发表的一项重磅研究揭示的真实发现。更令人震惊的是,制造这份“幽灵诊断”的不是人类,而是一台被业界认为具备强大视觉理解能力的多模态AI系统。
2026年3月,斯坦福大学跨学科研究团队在arXiv发布论文《Mirage: The Illusion of Visual Understanding》,首次系统性地揭示了一个被长期忽视的重大缺陷:当前最前沿的多模态AI模型,包括GPT-5、Gemini-3-Pro、Claude Opus 4.5等,在完全没有接收到任何图像输入的情况下,不仅不会报错或拒绝回答,反而能自信地生成详尽的视觉描述、构造看似严谨的推理链条,并在多个视觉基准测试中取得与有图时相差无几的分数。团队将这种现象命名为“海市蜃楼效应”(Mirage Effect)——模型凭空“看见”了一张根本不存在的图像,并基于这张幻觉图像给出分析答案,却全程不流露任何不确定性。
要理解海市蜃楼效应的严重性,首先要把它与传统AI“幻觉”现象区分开来。传统幻觉是指模型在有效的认知框架内填充错误的细节——比如给图片里没戴帽子的人加上一顶帽子,模型是在已有视觉输入的基础上产生了偏差。而海市蜃楼则要危险得多:它构建的是一套完全虚假的认知框架,模型根本没有任何图像输入,却表现得像是真的收到了图片,基于这张不存在的幻象继续推理,全程不表达任何怀疑,也绝不提醒用户图像已经缺失。用论文中的原话来说,这代表的是“整个认知前提的虚构”,而非局部的细节错误。
研究团队设计了一系列巧妙的实验来量化这一现象。他们构建了名为Phantom-0的基准测试,包含200道开放式问题,涵盖医学、生物学、地理、艺术、OCR等20个领域,所有问题都要求描述图像——但所有图像都被悄悄移除,且不告知模型。测试结果令人倒吸一口凉气:所有被测前沿模型平均在超过60%的情况下会自信地描述不存在的视觉细节,而且不提示任何不确定性。更荒诞的是,当在提示词中加入“请根据图像中的视觉证据回答”这类常规评估指令时,海市蜃楼率直接飙升至90%至100%。也就是说,越是郑重其事地要求模型“看图说话”,它越是义无反顾地开始编造。
研究团队进一步在MMMU-Pro、VQA-Rad、MicroVQA等六个主流基准上进行了“图像消融”实验——同一道题目,分别在有图和无图两种条件下让模型作答。结果显示,移除图片之后,模型平均仍能保留原始准确率的70%至80%。换句话说,这些被奉为行业标准的基准测试,有七八成的分数可能根本不需要“看见”就能拿到。医学类基准尤其严重,“非视觉可答”的比例高达60%至99%,这意味着医疗影像领域的评分体系在很大程度上形同虚设。
最令人瞠目结舌的实验还在后面。为了彻底验证当前基准测试是否真的在考“视觉理解”,研究团队用通义千问Qwen 2.5——一个仅有30亿参数的纯文本模型,从未见过任何图像——在胸部X光问答数据集ReXVQA的公开训练集上进行微调。唯一不同的是,他们把所有图片全部删掉,只保留文字问答对。就这样一个“超级猜测器”,在保留测试集上的表现不仅击败了所有前沿多模态模型,还比人类放射科医生的平均水平高出10个百分点以上。更可怕的是,它生成的推理过程与真正看过图片的模型几乎无法区分。这种“盲人比明眼人看得更准”的讽刺结果,直接戳破了当前多模态评估体系的泡沫。
研究还发现了一个违背直觉的现象:当明确告知模型“这里没有图片,请你随便猜”时,性能反而下降;而悄悄移除图片、让模型误以为图片仍然存在时,性能反而保持高位。论文将前者称为“猜测模式”,后者称为“海市蜃楼模式”。在三个基准测试中,海市蜃楼模式的准确率都显著高于猜测模式。这说明两种模式在机制上存在根本差异:被告知没图时,模型走的是保守的文字路线;而被默认“有图”时,模型反而能调动更多隐藏的结构和线索。这种诡异的“越提醒越不准”现象,暗示海市蜃楼效应不是简单的随机猜测,而是模型内部某种深层机制被触发的系统性行为。
在所有应用场景中,医疗领域面临的风险最为突出。研究团队分析了Gemini-3-Pro在胸部X光、脑部MRI、病理切片、心电图、皮肤照片等五类医学影像中生成的海市蜃楼诊断,发现了一个令人担忧的规律:在无图条件下,模型凭空生成的诊断严重偏向病理方向,高风险疾病如心肌梗死、恶性黑色素瘤、恶性肿瘤等占比显著高于正常诊断。论文将这种现象称为“病理偏置”。这意味着,如果一个医疗AI系统因为网络故障导致图片上传失败,或者在大型Agent工作流中图像被丢弃,系统不会选择“无法判断”,而是会编造一份看似专业但完全缺乏视觉支撑的诊断报告。在临床环境中,这种静默的失败模式可能通过下游代理、报告或临床决策传播,造成难以估量的危害。
研究还揭示了一个更深层的问题:模型不仅能猜对答案,还能写出一条看起来完全基于图像特征的“完美推理过程”。当模型被问及“请基于图像中的视觉证据回答”时,它会详细描述颜色、形状、位置等视觉特征,并基于这些虚构的发现给出结论。这种带有完整思维链的输出,让传统的“通过检查推理链来验证AI是否真看懂了图片”的防线彻底失效。模型不仅在结果上造假,在过程上也伪造得天衣无缝。
针对这一致命缺陷,论文提出了一套名为B-Clean的评估框架。核心思路是对所有基准测试问题进行“模态消融”——移除图片后测试模型能否正确回答,将能够正确回答的问题标记为“泄漏”并剔除,剩下的题目才真正测试视觉理解能力。应用B-Clean后的结果触目惊心:多数基准测试被剔除了约74%至77%的题目,GPT-5.1在MicroVQA基准上的真实视觉成绩从61.5%暴跌至15.4%。这意味着,现有的排行榜上那些光鲜亮丽的分数,有四分之三是建立在文本捷径和数据记忆之上的,与真正的视觉能力关系甚微。
海市蜃楼效应的根源在于当前多模态模型的训练范式。语言模型在预训练过程中见过海量文本数据,形成了强大的语言先验和文本推理能力。当提示词以“根据图片分析……”这类形式出现时,模型会迅速识别出这是一个“专家看图答题”的场合,从而切换到相应角色——即使底层视觉信号缺失,语言模块仍会主动填补缺失信息,以维持角色的一致性。这本质上是模型对人类语用规范的高度模仿,而非真正的视觉理解。用通俗的话说,模型是个“超级应试者”,它背下了海量知识,能用文本推理来回答视觉问题,但真正“看见”的能力,可能远没有人们以为的那么强。
对于行业从业者而言,这项研究带来的启示是切实的。首先,在选择多模态模型时,不能迷信基准测试的跑分成绩,高分很可能只是“背熟了”而非“看懂了”,真正的评估应该在实际业务场景中进行。其次,对于医疗诊断、工业检测、自动驾驶等高风险场景,必须设计“模态可用性检查”机制——系统应该先确认图像确实输入了、内容可解析,再进行推理,不能假设模型会自动报错。第三,模型越升级、性能越强大,并不意味着视觉理解能力越强,研究数据显示新版本模型的海市蜃楼率反而更高,这是一个需要高度警惕的趋势。
值得欣慰的是,研究团队也展示了解决路径。他们设计的“反事实验证模块”可以在保持准确率的同时将海市蜃楼率降到零,但需要在系统层面而非模型层面来解决这一问题。从长远来看,构建更纯净的基准测试、系统性剥离文本先验和数据污染,设计视觉信号更具主导权的架构机制,将是推动多模态AI从“虚假繁荣”走向真正可靠的关键方向。李飞飞团队这项研究撕开了多模态AI皇帝的新衣,也给整个行业敲响了警钟:在追求更高分数的路上,或许更应该停下来问一问——模型真的看见了吗?

评论

评论区空态插画

当前文章无评论,是时候发表评论了