ICLR26_Oral:为什么LLM能增益视觉场景?
ICLR 2026入选的一篇Oral论文探讨了一个反直觉的现象:仅接受过文本预训练的大语言模型(LLM),在接入视觉编码器并进行少量微调后,竟能在多模态任务中表现出显著的视觉理解能力。研究指出,这并非偶然,而是LLM在语言预训练阶段形成了可拆分的“视觉先验”。这些先验包括感知先验和推理先验,揭示了文本数据如何通过描述世界的结构,为模型打下潜在的视觉理解基础。
01研究背景:视觉能力的来源之谜
传统观点认为,多模态模型的视觉能力主要依赖大量的图文对齐训练。然而,现实中的许多LLM仅经过文本预训练,就能在经过视觉对齐后执行视觉问答、图表理解等复杂任务。这引发了核心疑问:这些视觉能力究竟是语言模型内部早已习得的世界结构,还是后期图文微调临时补救的结果?作者认为,文字虽然不是图像,但长期描述图像背后的世界,这种通过语言对物体、空间、属性和因果关系的反复描述,使LLM先构建了一个抽象的世界模型,随后才通过视觉编码器将图像接入该模型。
02核心发现:感知与推理的双重先验
视觉先验的两种类型
感知先验
涉及物体、文字、图表的识别能力
- 受视觉编码器和视觉指令微调数据影响较大
- 源自广泛的文本语料库
- 更接近于“看清”内容的低级视觉能力
推理先验
涉及基于图像进行逻辑判断的能力
- 主要源自代码、数学、学术等推理型文本
- 随模型规模和数据量持续扩展
- 具有可迁移性和通用性,适用于视觉推理任务
03实验验证:数据配方与性能提升
研究团队进行了超过100组受控实验,覆盖了从340M到13B不同规模的模型,系统改变了预训练数据来源(包括代码、数学、学术、网页等)。实验发现,推理型数据占比的提高能持续让视觉推理任务受益,而视觉描述文本虽然重要,但少量即可达到饱和。
| 实验模型 | 最佳数据配方 | 关键性能指标 |
|---|---|---|
| 3B模型 | 约60%推理数据 + 15%视觉世界文本 | 视觉能力培养效果最佳 |
| 7B模型 (1T tokens训练) | 平衡配方 (含推理与视觉描述) | VQA总分从37.32提升至38.64 |
不同规模模型下的数据配方与效果对比
04结论与意义
研究表明,多模态能力的培养不应仅依赖后期的图文训练补救。通过在文本预训练阶段有意识地引入推理型文本和适量视觉世界描述,可以有效地“教会”LLM如何去“看”。这种数据驱动的配方为下一代多模态大模型的开发提供了新的思路,证明了语言预训练在构建视觉感知与推理基础中的关键作用。
当前文章无评论,是时候发表评论了