什么值得买App下载 App ›
连续签到专享现金活动

AI看图越想越错?

在视觉语言模型(VLM)的应用中,通常认为通过思维链让模型“一步步思考”能提升推理的准确率。然而,在处理看图任务时,实验结果往往显示推理链越长,模型反而越容易忽略视觉证据,导致答案偏差。这种现象引发了关于多模态大模型推理机制的深入探讨,核心问题集中在CoT在视觉任务中的适用性及潜在的负面效应。
01核心原因解析
  1. 语言先验主导注意力
    自回归生成过程中,文本Token逐步主导注意力分配。随着推理步骤的增加,模型越来越依赖语言先验知识,而非原始的视觉证据,导致视觉输入的权重被稀释。
  2. 错误级联放大
    CoT的第一步通常是描述图片,如果这一步引入了错误,后续的推理步骤会将该错误作为既定事实进行级联放大,最终导致结论完全偏离。
  3. 视觉编码瓶颈暴露
    视觉编码器在提取特征时本身就会丢失大量细节信息。长推理链并不能找回这些丢失的细节,反而暴露了模型在视觉信息保留和处理上的固有瓶颈。

VLM推理策略对比

直接回答模式
  • 依赖视觉直觉,减少中间步骤干扰

  • 注意力更集中在图片特征上

  • 不易产生语言幻觉导致的级联错误

思维链(CoT)模式
  • 推理链越长,越容易遗忘视觉内容

  • 语言生成过程会引入无关的先验偏差

  • 初期描述错误会被后续逻辑固化

综合来看,VLM在视觉推理任务中表现出的“越想越错”现象,本质上是多模态模型中语言模态与视觉模态竞争注意力的结果。虽然CoT在纯文本逻辑推理中表现优异,但在视觉任务中,过度的语言生成往往会削弱模型对原始图像信号的感知能力。部分业界观点也指出,当前VLM的视觉编码器尚未达到完美保留细节的程度,单纯增加推理步骤无法弥补底层的视觉信息缺失。因此,在设计视觉任务的提示词时,盲目追求复杂的推理链可能适得其反,简洁直接的引导往往更能获得准确的结果。

评论

评论区空态插画

当前文章无评论,是时候发表评论了