图像生成模型的核心挑战在于如何高效处理高维连续数据。本文深入剖析了VQ家族模型的技术演进，从VQ-VAE的离散化基础，到VQ-GAN的质量提升，再到RQ-VAE、VAR及FlexVAR的架构创新，旨在为读者理清世界模型中图像生成技术栈的关键脉络，理解其背后的设计哲学与取舍。
智能速览
图像生成采用离散化的根本原因在于绕过连续概率密度建模的困难。
“先压缩后生成”策略虽有效，但高压缩比必然导致信息损失。
VQ-GAN通过引入感知损失和对抗训练，显著提升了重建图像的视觉质量。
RQ-VAE利用残差量化，用多个码本分层表达图像从框架到纹理的细节。
VAR采用“下一尺度残差预测”，FlexVAR则改为“直接预测”，后者更具灵活性。
MaskGIT的并行解码策略大幅提升了生成速度，与AR路径形成对比。
精华内容
神经网络在拟合函数方面很强大，但在拟合概率密度方面却很困难，这是连续型变量生成建模的根源挑战。VQ家族模型通过将连续特征离散化，并采用“先压缩后生成”的策略，为高分辨率图像合成开辟了一条新路径。
为何要离散化
神经网络是函数的万能拟合器，却不是概率密度的万能拟合器，这构成了连续变量生成建模的本质困难。相比之下，离散型变量的概率约束（求和为1）可以通过Softmax轻松实现，这是图像生成走向离散化的根本动机。
主流的“先压缩后生成”策略，即通过自编码器将图像压缩到低维离散空间再生成，解决了像素级自回归步数过长的问题。例如，生成一张256x256的图像，直接在像素空间操作需约20万步，而压缩到16x16的网格则仅需256步，效率天差地别。
然而，强压缩必然带来信息损失。根据信息论估算，要在16x16的网格上无损承载ImageNet-64的图像信息，词表规模需达到2^81，这远超现有码本能力。因此，如何在压缩率和信息保真度之间取得平衡，是所有VQ模型需要面对的核心难题。
VQ-VAE奠基石
VQ-VAE是这一路线的开创者，其核心在于将编码器输出的连续特征向量映射到离散的码本中，实现特征的离散化表达。这个过程中，它通过“梯度直通”技巧解决了离散操作不可导的问题，确保了梯度可以顺利回传到编码器。
其损失函数由三部分构成：重建损失负责让解码器尽可能还原像素；承诺损失通过权重β约束编码器输出，防止其漂移过远而与码本脱节，从而稳定训练；码本损失则负责更新码本向量。
这种简单的架构奠定了后续所有VQ系列模型的基础，成功地将图像生成问题转化为了序列预测问题，但重建质量在较高压缩比下仍有不足。
VQ-GAN的飞跃
VQ-GAN在VQ-VAE的基础上进行了关键性升级，旨在提升高压缩比下的重建质量。它做了三件重要的事：首先，用VGG或LPIPS等感知损失替代了原始的像素L2损失，使得重建结果在视觉上更符合人眼感知，即使像素有偏差，语义和细节也更真实。
其次，引入了基于Patch的判别器进行对抗训练，让生成器（解码器）努力产出足以“以假乱真”的图像，进一步提升了视觉真实感。最后，针对高分辨率图像生成，VQ-GAN提出了滑动注意力窗口机制，将Transformer的注意力计算复杂度从O(L^2)降至近似O(L*k)，使得生成1024x1024甚至更高分辨率的图像成为可能。
RQ-VAE的细节
为了解决单层码本表达能力有限的问题，RQ-VAE引入了残差量化的思想。它不再为每个图像块只匹配一个码本向量，而是通过D个码本进行分层、逐级的残差编码。
具体过程是：第一层用码本向量逼近原始特征，得到第一个残差；第二层再用另一个码本去逼近这个残差，得到第二个残差，如此循环D次。最终，一个图像块由D个码本向量的和来表示，实现了从粗糙框架到精细纹理的逐步精细化表达。
这种分层策略极大地提升了码本的表达能力和信息容量，有效缓解了“先压缩后生成”范式中的信息损失问题，为后续模型提供了更丰富的潜空间表征。
VAR与FlexVAR之争
VAR（Visual Autoregressive Modeling）提出了“下一尺度预测”的生成方式，即在低尺度预测的基础上，通过自回归模型预测更高尺度的“残差信息”，逐步细化图像。这种方法虽然效果出色，但其残差预测的结构也带来了推理步数和分辨率的刚性限制。
FlexVAR则对此进行了革新，将“预测残差”改为“直接预测每一尺度的真值”。这样做的好处是，生成过程的每一步都能独立输出一幅可用的图像，步数、分辨率和宽高比在推理时都可以灵活切换，打破了VAR的刚性设计。
值得注意的是，原文作者对FlexVAR批判残差预测“缺乏语义连续性”的观点提出了反驳，认为通过累积重建，残差预测同样能在每一步生成有意义的图像，其批评“站不住脚”。这场争论的核心在于生成过程的灵活性与语义连贯性的权衡。
VQ家族模型的发展，是图像生成领域从追求速度到平衡质量与效率的演进缩影。从基础离散化到复杂的尺度预测，它们共同构成了现代生成模型的重要基石，推动了世界模型中视觉技术的成熟。未来的探索是否会完全超越量化，走向更连续、更灵活的范式，这值得持续关注。
