深入解析VQ家族的核心技术演进，从VQ-VAE到FlexVAR，探讨图像生成领域如何通过离散化、残差预测等创新方案解决连续建模难题，为高分辨率图像生成提供新思路。
智能速览
神经网络在连续型变量生成建模中存在本质困难，离散化成为必然选择
VQ-VAE通过梯度直通技术实现连续特征的离散化表达
VQ-GAN引入感知度量和判别器，显著提升高压缩比下的重建质量
RQ-VAE采用多层码表方案，实现从框架到纹理的分层特征表达
VAR提出’下一尺度预测’概念，通过残差建模实现高效图像生成
FlexVAR突破传统AR模型限制，支持灵活的推理步数和分辨率切换
精华内容
图像生成技术经历了从像素级操作到语义级表达的演进，VQ家族通过创新的离散化方案，为高分辨率图像生成开辟了新路径。
离散化必要性
神经网络虽是函数的万能拟合器，但不是概率密度的万能拟合器，这是连续型变量做生成建模的本质困难。离散型变量不存在此问题，因为离散型概率的约束是求和为1，通过Softmax即可实现。
直接在像素空间做自回归步数过大，256×256图像需约20万步，难以落地。基于信息论估算，ImageNet-64的平均熵表明，要在16×16网格上无损承载图像信息，词表规模需达到2^23，远超现有codebook能力，证明强压缩必然有损。
VQ-VAE基础
VQ-VAE的核心是将连续特征离散化表达，通过三个loss函数实现：重建项逼近像素、codebook/commitment项稳定码本并避免编码器漂移、β作为权重平衡。
关键技术是梯度直通（gradient straight through），解决离散化不可导问题。前向传播使用最近邻离散值，梯度回传则直接传到编码器输出，保持训练的连续性。
VQ-GAN升级
VQ-GAN在VQ-VAE基础上做了三个关键改进：用VGG/LPIPS等感知度量替代像素L2作为重建损失，在高压缩比下显著提升感知质量；引入patch-based判别器，通过最小最大博弈提升真实感；采用sliding attention window机制，将注意力复杂度从O(N^2)降至近似O(Nk)。
该方案将整张大图分成16×16 token的小窗口，采样时让窗口在整图上滑动，每次只关注窗口内及与前一窗口的重叠上下文，解决了高分辨率生成的扩展性问题。
RQ-VAE残差建模
RQ-VAE创新性地采用D个码本词表对应一个patch特征，实现分层表达。第一层直接在codebook中找最近code，然后计算残差并继续在下一层寻找。
这种设计让不同codebook词表表达图片的不同信息层次，从框架到纹理。推理时需要spatial transformer和depth transformer两个组件，分别处理空间和深度上的自回归过程。每个depth层的decoder输入是累积到该层的所有残差，因此第一层就能重建基本轮廓。
VAR尺度预测
VAR首次提出’下一尺度预测’概念，不再预测next token而是预测next scale。通过cosine调度策略实现’并行预测+基于置信度的重掩+多步refinement’。
推理速度显著提升，采用并行解码且步数少。该方案通过预测层与层的残差，从粗粒度开始基于上一scale信息预测下一个更细粒度scale，在指标上超越了当时的DiT方案。
FlexVAR突破
FlexVAR将VAR的’下一尺度残差预测’改为’下一尺度GT预测’，每一步都能独立生成可用图像。这打破了残差预测的刚性步长设计，支持连续语义表达。
核心优势在于：步数、分辨率与宽高比在推理时可灵活切换；任何步数都能单独产出合理结果。同时提供可缩放2D位置编码与随机步采样，彻底打破固定步/固定分辨率限制。
VQ家族的技术演进展现了图像生成领域的创新思路，从离散化到残差预测再到灵活的尺度建模，每一步都在解决更深层的技术挑战。未来如何更好地平衡信息保真度与生成效率，仍值得持续探索。
