多模态大模型普遍存在“感知鸿沟”，即小模型在模仿大模型输出时，关注的视觉区域完全不同，本质是依赖语言先验而非视觉感知。LaViT框架为此提出新思路，通过对齐“潜在视觉思维”，让一个3B参数的小模型在性能上超越部分更大规模的模型，为模型蒸馏技术带来了重要突破。
智能速览
多模态模型存在学生与教师模型间的“感知鸿沟”问题。
LaViT框架创新性地对齐“潜在视觉思维”而非静态文本。
它要求学生模型重构教师的视觉语义与注意力轨迹。
课程感知门控机制能有效防止模型走捷径学习。
该框架在复杂推理任务上性能提升最高达16.9%。
一个3B参数的紧凑模型表现超越了部分更大规模的开源模型。
精华内容
如何让小模型真正理解图像，而不是鹦鹉学舌？LaViT框架提供了一个新方向，它深入到模型思考的底层，对齐视觉与语言的内在逻辑。
感知鸿沟
当前多模态模型蒸馏存在一个核心问题，即“感知鸿沟”。研究发现，学生模型虽然在文本输出上能很好地模仿教师模型，但其注意力所关注的视觉区域却与教师大相径庭。这表明学生并非基于真实的视觉感知进行推理，而是更多依赖语言先验来生成答案，导致其在需要精细视觉定位的复杂任务上表现不佳。
思维对齐
为解决此问题，LaViT框架提出对齐“潜在视觉思维”的新范式。它不再局限于对齐最终的文本输出或静态的嵌入表示，而是要求学生模型在生成文本之前，通过自回归方式，先完整地重构出教师模型的视觉语义信息及其注意力轨迹。这确保了学生模型真正学会了教师“看哪里”和“如何思考”。
防走捷径
为了防止模型在重构过程中“走捷径”，LaViT设计了一个课程感知门控机制。该机制可以动态地控制学生模型在训练过程中接收教师视觉信息的程度，迫使其逐步学习并内化教师的推理过程，而不是简单地寻找一个最小的损失函数来完成任务。这保证了模型学习到的是可靠的、有逻辑的视觉推理能力。
性能飞跃
实验结果充分证明了LaViT框架的有效性。在视觉基础能力上，模型的Grounding表现得到显著增强。在需要复杂推理的任务上，性能提升最高达到了16.9%。更令人瞩目的是，一个仅有3B参数的紧凑型LaViT模型，在多项评测中的表现已经能够超越一些更大规模的开源模型，甚至GPT-4o这样的专有模型。
LaViT框架的出现，为多模态模型的轻量化与高效发展开辟了新路径，证明了精准对齐思维过程比单纯模仿输出更为关键。它让小模型也能拥有大模型的深度推理能力。未来，这种“思维对齐”的思路能否成为构建更强大、更可靠AI模型的标准范式？值得期待。
