当我们看漫画或视频时，大脑是如何将一幅幅静态图像连贯成完整故事的？这篇内容深入探讨了视觉叙事这一复杂过程，介绍了SPECT理论框架，揭示了从物体识别到意图推理的认知机制，帮助理解人脑如何构建情景模型。
智能速览
视觉叙事是从图像中连贯理解事件的复杂认知过程。
SPECT理论框架揭示了感知与事件理解的协同机制。
大脑通过基础构建、映射和切换三种方式更新情景模型。
前端机制的信息提取和注意选择受内外部因素影响。
对事件中施动者的识别效率显著高于受动者。
精华内容
要理解视觉叙事的深层机制，SPECT理论提供了一个系统性的框架。它将信息处理分为前端和后端，共同作用于情景模型的构建，解释了从图像到故事的完整认知链条。
叙事的挑战
理解视觉叙事并非易事。以《一个男孩，一只狗和一只青蛙》的漫画为例，第一张图需要观众识别所有对象，并从男孩的视线和工具推断其“抓青蛙”的目标。第二张图则展现了目标失败——男孩和狗被树干绊倒，这需要联系前一张图进行推理。最后一张图仅凭水中的靴子，就暗示了男孩掉进水里的结局。整个过程依赖于对时间、空间、因果、目的和主角五个索引的动态推理。
SPECT理论框架
场景感知与事件理解理论（SPECT）是一个整合性框架，用于解释人类如何处理静态或动态的视觉叙事。该理论将整个过程分为前端机制、后端机制和执行处理三部分。前端机制处理单次眼动内的信息，后端机制则在工作记忆中构建连贯的情景模型，而执行处理负责有意识的控制。核心在于，感知过程与事件模型构建是相互影响、协同工作的。
前端的信息处理
前端机制包含信息提取与注意选择。信息提取遵循从粗到细的顺序，能快速识别场景类别，但识别小物体（如青蛙）或复杂关系则需要更多注视。注意选择则受自下而上（如颜色、运动等视觉显著性）和自上而下（如任务目标、知识）因素的共同影响。观看初期，人们会以“环境模式”广泛探索，随后转为“焦点模式”进行深度加工。
后端的模型构建
后端机制在工作记忆中自动构建情景模型，包含三个关键过程。首先是“基础构建”，即为第一个场景建立初始模型。其次是“映射”，将新信息通过时间、空间、因果等索引整合到现有模型中，这常需要推理，例如推断连接事件。研究显示，生成连接性推理时，眼动数量会增加约20%，但注视时间不变。最后是“切换”，当新信息无法整合时，便会创建新的情景模型，标志着事件的边界。
意识的参与
虽然前端和后端机制大多是自动的，但“执行处理”允许有意识的干预。观看者可以设定目标（如记忆地标）、主动控制注意力（如搜索特定信息）或抑制无关干扰。这种有意识的控制在需要完成特定任务时尤为重要，它体现了人类在高级认知活动中的主观能动性。
SPECT理论为理解人类视觉叙事提供了坚实的科学基础。它不仅解释了我们如何从图像中理解世界，也为人工智能的视觉理解和故事生成指明了方向，未来在多模态交互等领域大有可为。
