多模态大模型如何融合不同信息？本文深入剖析了 Early Fusion 与 Late Fusion 两种核心架构范式，通过对比“原生一体”与“拼图式”结构，清晰地阐明了它们的技术原理与实现差异，为理解前沿模型提供关键视角。
智能速览
Early Fusion 是一种原生多模态架构，在输入层就统一所有数据格式。
Late Fusion 依赖独立单模态编码器，在深层特征空间进行信息融合。
目前主流的开源多模态大模型普遍采用 Late Fusion 范式。
Patch-based 是 Early Fusion 的一种实现，直接将图像切块映射为向量。
Token-based 则通过预训练的 Tokenizer 将图像转换为离散的视觉 ID。
精华内容
这两种范式在模型结构与处理流程上有着根本不同。为了深入理解其差异，我们需要剖析它们的内部机制与工程实现。
架构核心差异
Early Fusion 与 Late Fusion 的本质区别在于模态融合的时机和方式。常见的 ViT + LLM 结构属于 Late Fusion，如同拼接两块拼图，图像由独立的 ViT 编码器完整处理后再交予 LLM，融合发生在网络极深处。而 Early Fusion 则是原生一体化的架构，它没有独立的视觉编码器，所有模态在进入主干网络前就被对齐到统一格式，由一个共享的“大脑”——Transformer 骨干网络进行联合处理，从源头上实现模态交互。
Early Fusion 原理
在 Early Fusion 架构中，关键在于输入层的格式统一。可以将 Transformer 主干网络理解为一台只能处理一维向量序列的机器。文本天生是离散序列，而图像和音频则需被转换。工程上，这种转换主要有两种路径：一种是将图像直接切块并展平成连续向量；另一种则是借助视觉 Tokenizer 将图像量化为离散的 Token。这两种方式都旨在让不同模态的数据以同一套“语言”进入模型。
实现路径：切块
Patch-based 是一种直接高效的实现路径。其操作是先将一张图像切割成多个固定尺寸的小方块，例如 16x16 像素的 Patch。随后，通过一个线性映射层，将每个二维的 Patch 压缩成一个一维的连续向量，确保其维度与文本的 Embedding 向量一致。最后，将这些图像向量与文本向量直接拼接成一个长序列，一并送入 Transformer 网络的第一层进行处理。Adept 的 Fuyu 模型便是这种思路的代表。
实现路径：量化
Token-based 路径则让图像更彻底地向文本格式靠拢。它首先需要预训练一个视觉 Tokenizer，通常基于 VQ-VAE 等离散化自编码技术。这个 Tokenizer 内置一个庞大的“视觉词表”，能够扫描整张图像，并将图像中的不同区域精确地映射为词表中的离散 ID。这些视觉 ID 就如同文本中的单词，被转换成向量后与文本 Embedding 拼接，实现真正的“图文同源”训练。Meta 的 Chameleon 模型采用了此方法。
理解 Early Fusion 与 Late Fusion 的差异，是把握多模态技术演进的关键。随着算力与算法的进步，这两种范式或将相互借鉴，催生出更强大、更统一的多模态基础模型，未来充满了想象空间。
