CVPR 告别模糊!AlignVAR让图片高清重生
图像超分辨率技术旨在从低分辨率输入中重建出高保真的高分辨率图像,是计算机视觉领域的核心任务之一。近年来,视觉自回归模型作为一种新兴的生成范式,因其稳定的训练过程和非迭代推理特性受到关注。然而,将其直接应用于超分辨率重建时,往往面临空间结构破坏和误差累积的问题,导致生成的图像出现纹理断裂或全局一致性缺失。针对这些挑战,AlignVAR框架应运而生,通过全局一致性设计,在提升重建质量的同时实现了推理效率的突破。
01核心挑战:局部化与误差累积
传统的视觉自回归模型在处理图像超分辨率任务时,主要受限于两个关键短板。首先,模型注意力机制往往过度局部化,仅关注相邻像素,这种偏向局部的注意力会破坏图像的整体空间结构,导致重建结果在细节上出现不连贯。其次,训练过程中的监督通常仅依赖于残差预测,这种单一的监督方式使得误差在不同预测尺度间不断累积,严重损害了最终重建图像的全局一致性和结构完整性。
02解决方案:双重一致性机制
- 空间一致性自回归(SCA)
通过引入自适应掩码机制,对结构相关区域的注意力进行重新加权。SCA模块利用从低分辨率输入提取的结构引导图(如拉普拉斯边缘),引导模型跳出局部视野,关注语义相关的长程区域,从而有效缓解过度局部化问题,增强同一尺度内的空间结构连贯性。 - 层次一致性约束(HCC)
针对多尺度预测中的误差传播问题,HCC损失不仅监督每个尺度的残差预测,还额外引入对累积的完整潜在表示的监督。这种跨尺度的校准机制迫使每个中间尺度都与真实完整表示对齐,能够及早暴露并纠正偏差,有效抑制误差在生成过程中的累积。
03性能表现:质量与效率的双重提升
| 对比维度 | AlignVAR | 主流扩散模型 |
|---|---|---|
| 推理速度 | 快10倍以上 | 基准速度 |
| 参数量 | 减少近50% | 常规参数量 |
| 结构一致性 | 持续优于现有生成方法 | 受限于迭代去噪过程 |
| 感知保真度 | 高保真合成 | 高保真合成 |
AlignVAR与主流扩散模型性能对比
实验结果表明,AlignVAR在结构一致性和感知保真度上均持续优于现有的生成方法。与领先的基于扩散的方法相比,该框架无需耗时的迭代去噪过程,推理速度实现了10倍以上的提升,同时参数量减少了近50%。这种高效统一的全局一致框架,为高质量、高效率的实景图像超分辨率建立了新的技术范式。
当前文章无评论,是时候发表评论了