Transformer架构最初为机器翻译设计，但其影响力已远超语言领域。内容系统梳理了它如何扩展至视觉任务，成为图像分类、生成甚至视频生成的核心技术。通过剖析ViT、DiT和MMDIT三种关键架构，深入探讨了从图像分块、条件控制到多模态交互的设计演进，揭示了Transformer成为通用智能模型背后不可避免的技术选择。
智能速览
Vision Transformer (ViT) 通过将图像分割为小块（Patches），大幅降低了自注意力的计算量。
Diffusion Transformer (DiT) 成功将Transformer架构应用于图像扩散模型，在潜在空间进行高效生成。
DiT采用特征调制等技术，高效地将时间、类别等条件信号融入生成过程的每一个细节。
多模态扩散Transformer通过联合注意力机制，让图像和文本相互理解，实现更精准的文本引导生成。
从ViT到MMDIT的演进，清晰地展示了Transformer从处理单一模态向融合多模态信息的能力扩展路径。
精华内容
Transformer如何从处理序列文本，进化到理解和生成像素图像？这背后并非魔法，而是一系列精巧的架构改造。接下来将逐步拆解其视觉化的进化路径，从图像分类到多模态生成。
图像分块降维
直接在像素级别应用自注意力，计算复杂度是二次增长的，对于一张256x256的图像，计算量高达数十亿次，这是不切实际的。Vision Transformer (ViT) 的核心创新在于，它不再处理像素，而是将图像分割成16x16像素的图像块。对于一张256x256的图像，这会得到256个块，计算量从数十亿次降低到约65000次，变得可行。
这些图像块被视为类似文本的Token。通过一个线性层将每个块展平并投射到指定的嵌入维度，再加入位置嵌入信息，以弥补Transformer对位置信息不敏感的缺陷。最后，ViT借鉴了BERT的思想，在输入序列中加入一个特殊的分类Token，该Token通过双向注意力整合了所有图像块的信息，最终通过一个分类头输出图像的类别概率。
扩散模型核心
在图像生成领域，Diffusion Transformer (DiT) 正在取代传统由CNN构成的U-Net，成为新的核心架构。现代扩散模型通常在更紧凑的潜在空间运行，借助VAE将图像压缩成一个更小的张量，例如空间维度32x32，通道数为4，这样仅需约4000个数值即可表示一张图像，大大节省了计算资源。
DiT借鉴了ViT的图像分块思想，将潜在表示切分成多个三维块，再通过线性层转换为Transformer可处理的嵌入向量。关键问题在于如何将时间步和类别等条件信息融入模型。DiT探索了四种方法，其中最有效的是特征调制，即通过一个多层感知机，根据时间和类别嵌入动态生成缩放和偏移参数，分别应用于注意力层和前馈网络，实现对模型行为的精细化控制。
文本精准引导
尽管DiT在图像生成上表现强大，但早期的DiT仅支持类别条件生成，无法理解自由文本。多模态扩散Transformer (MMDIT) 提出了一种更原则化的方法来实现文本到图像的生成。它并非简单地将文本Token视为附加条件，而是赋予图像和文本平等的地位。
MMDIT包含两个独立的编码器，分别处理图像块和文本Token。两者通过一个联合注意力机制进行通信：图像块序列和文本Token序列被拼接在一起，共同进行自注意力计算。这意味着每个图像块都能看到所有文本Token，反之亦然。这种对称的、双向的信息流动，确保了模型能够深入理解文本提示的细微差别，并根据当前图像内容做出精准响应，这对于复杂的图像编辑任务尤为重要。
从ViT到MMDIT，Transformer在视觉领域的探索展现了其作为通用架构的强大潜力。通过巧妙改造，它不仅攻克了图像处理的计算难题，更实现了多模态信息的深度融合。这套架构的演进路径，为我们理解下一代AI模型的设计哲学提供了清晰蓝图，它未来还将解锁哪些创造力？
