什么值得买App下载 App ›
连续签到专享现金活动

挑战扩散自回归统治!字节提出视觉生成第三种路线,让模型像人类一样边画边改

字节跳动商业化技术团队提出了一种全新的视觉生成范式——生成精炼网络(Generative Refinement Networks,简称GRN)。该架构并未沿用当前主流的扩散模型或自回归模型路线,而是试图模拟人类作画过程,通过“边画边改”的机制,在解决离散量化损失、误差累积以及计算资源分配不合理等问题上实现了突破。
01技术背景与核心架构

视觉生成技术路线对比

扩散模型与自回归模型
  • 扩散模型:生成质量高,但无论画面复杂程度如何,均需相同的步数,计算效率低下。

  • 自回归模型:具备画面复杂度感知,但需颜色离散化导致缺乏高频细节,且存在误差累积,一旦出错无法修正。

生成精炼网络(GRN)
  • 模拟人类作画,允许生成过程中随时修改细化,知错就改。

  • 引入全局精调与复杂度感知采样,实现简单少画、复杂多画。

  • 统一图像与视频建模,兼顾细节质量与推理效率。

GRN架构主要由三个核心部分组成:层次二叉树量化(HBQ)、全局精炼网络(GRN)以及复杂度感知采样。HBQ采用近乎无损的离散编码,将VAE编码后的连续特征映射到[-1, +1]区间,通过二叉树结构进行多轮二进制量化,避免了传统自回归模型在压缩过程中的信息丢失。全局精炼网络则通过模拟绘画过程,从随机token图开始逐轮迭代更新,模型会自动判断并修正未完成的token,彻底解决了自回归模型的误差积累问题。
  • 层次二叉树量化(HBQ):通过多轮二进制量化将连续特征转为离散token,误差随轮数指数级衰减,支持图像与视频统一建模。
  • 全局精炼网络:引入“token擦除”与“token精调”机制,每轮随机保留部分确定token,其余重新预测,实现边画边改。
  • 复杂度感知采样:利用熵衡量画面复杂度,动态分配推理步数。简单样本分配约20步,复杂样本分配约40步。
02实测表现与数据基准
在实测环节,GRN展现了卓越的生成能力。无论是80年代风格的怀旧家庭照,还是画风强烈的漫画人物,GRN均能精准捕捉提示词意图。在文生视频任务中,2B参数的GRN模型能够生成480p、2至10秒的高保真视频。针对多人舞蹈、镜头快速推进等复杂场景,模型依然能保持人物动作的流畅性与构图的稳定性,未出现画面畸形。
测试任务对比对象GRN表现/优势
ImageNet 256x256 重建SD-VAE (0.87), RAE (0.62)rFID 达到 0.56,超越对比模型
类别-图像生成 (C2I)DiT-XL/2, SiT-XL/2GRN-G (2B) FID值为 1.81,IS值为 299.0
文生视频 (T2V)CogVideoX (5B), Wan 2.1 (14B)VBench 测试超越上述大模型及同规模竞品

GRN在不同基准测试中的关键数据对比

实验数据进一步验证了GRN的有效性。在参数量仅为130M(GRN-B)的情况下,其FID性能(3.56)反超了参数量227M的MaskGIT(6.18)。在文生图任务中,GRN_bit 2B在GenEval上得分0.76,超过了同参数量的SD3 Medium。消融实验表明,全局精调与复杂度感知模块是实现这一性能的关键。
03行业意义与未来展望
GRN的提出证明了在扩散和自回归架构之外,视觉生成存在新的可能路径。它成功在二者之间架起了一座桥梁,同时解决了量化损失、误差累积和计算分配三大难题。从长远来看,这种基于离散token的建模方式有助于更好地统一图像、视频与文本的token,提升多模态理解与生成能力。此外,该架构也为dLLM(离散大语言模型)提供了优化思路,通过引入全局精调机制,文本生成或许也能获得“推翻重写”的机会。

评论

评论区空态插画

当前文章无评论,是时候发表评论了