视觉生成领域为何痴迷离散化？本文系统梳理了VQ家族从VQ-VAE到FlexVAR的技术演进，深入剖析了“先压缩后生成”路线下的信息瓶颈、残差预测与并行解码等核心思想。对于想理解当前图像生成模型底层逻辑的读者，这是一份清晰的技术路线图。
智能速览
神经网络是函数拟合器而非概率密度拟合器，离散化是图像生成的关键选择。
VQ-VAE/VQ-GAN开创“先压缩后生成”范式，但高压缩比导致细节损失。
RQ-VAE采用多级残差量化，用多个码本分层表达图像的框架与纹理。
VAR引入“下一尺度预测”，通过并行解码大幅提升生成速度，但步长设计刚性。
FlexVAR改进VAR，直接预测真值而非残差，实现语义连续与生成步长灵活。
LADM探索无VQ的自回归方案，结合扩散模型在连续空间进行生成。
精华内容
要理解这些模型的演进，关键在于看它们如何应对“信息损失”和“生成效率”两大核心挑战。从离散化思想的开端到对残差预测的反思，每一步都充满巧思。
离散化的必然
神经网络是函数的万能拟合器，但并非概率密度的万能拟合器，这给连续型变量的生成建模带来本质困难。离散型变量的概率约束（求和为1）则能通过Softmax轻松实现，这便是离散化的根本动因。
然而，直接在像素空间进行自回归（AR）生成，步数过于庞大（例如256×256图像约需20万步），计算成本高昂。因此，“先压缩后生成”成为主流思路，即先将图像压缩到低维离散空间，再进行生成，最后解码恢复。但强压缩必然带来信息损失，信息论估算显示，若要在16×16或32×32的网格上无损承载ImageNet图像信息，所需词表规模远超现有能力，信息损失问题亟待解决。
VQ-GAN的突破
VQ-VAE是这一路线的基石，它通过一个码本将编码器输出的连续特征映射为离散的索引，并利用梯度直通估计器解决离散操作的不可导问题。其损失函数包含重建损失和码本更新承诺两部分，以保证码本稳定和编码器不漂移。
VQ-GAN则在此基础上进行了三大关键升级，显著提升了高压缩比下的生成质量。首先，它采用LPIPS或VGG等感知损失替代像素级L2损失，使重建图像在感知上更逼真。其次，引入了基于Patch的对抗判别器，通过最小最大博弈进一步提升生成细节的真实感。最后，提出滑动注意力窗口机制，将Transformer的注意力复杂度从O(L^2)降低至O(L*k)，有效解决了高分辨率生成的计算瓶颈。
RQ-VAE的深化
为缓解单一码本带来的信息损失，RQ-VAE（Residual Quantized VAE）提出了多层级残差量化的思想。与VQ-VAE中一个patch仅对应一个码本索引不同，RQ-VAE为每个patch特征分配D个码本词表。
其操作流程是：先在第一个码本中查找最接近的code，计算残差；然后在第二个码本中为该残差查找最接近的code，再计算新的残差，如此循环D次。这使得不同层级的码本能够分别学习图像的框架、纹理等不同层次的信息。在推理时，模型先进行空间维度的自回归，再在每个空间位置上进行深度维度的自回归，逐步重建出完整的细节。
VAR的并行加速
VAR（Visual Autoregressive Modeling）改变了传统逐token预测的范式，提出了“下一尺度预测”的方法。它不再预测单个token，而是并行地预测整个下一尺度的token map，大大加快了推理速度。
具体而言，VAR预测的是当前尺度与上一尺度上采样结果之间的残差。在采样时，它借鉴MaskGIT的并行解码策略，采用基于置信度的重掩码和多步精炼，通过余弦调度等方式，逐步补全图像。实验结果显示，VAR的推理步数极少，速度远超传统AR模型，并且呈现出明显的Scaling Law，性能随模型规模和计算量的增加而持续提升。但其缺点在于步长设计刚性，必须严格按顺序从低分辨率到高分辨率生成。
FlexVAR的灵活性
FlexVAR（Flexible Visual Autoregressive Modeling）针对VAR的刚性步长问题进行了改进。其核心变革是将VAR的“下一尺度残差预测”改为“直接预测下一尺度的真值”（Ground-Truth latent token map）。
这一改变带来了两大优势：第一，它确保了相邻尺度之间的语义连续性，因为每一步都直接对齐真实值。第二，也是最关键的，它打破了VAR的刚性步骤设计，使得在推理的任何一步都能独立输出一幅可用的图像。此外，FlexVAR还提供了可缩放的2D位置编码与随机步采样，让推理时的步数、分辨率和宽高比都可以灵活调整，极大地增强了模型的应用灵活性与扩展性。
