挑战扩散自回归统治!字节提出视觉生成第三种路线,让模型像人类一样边画边改
字节跳动商业化技术团队提出了一种全新的视觉生成范式——生成精炼网络(Generative Refinement Networks,简称GRN)。该架构并未沿用当前主流的扩散模型或自回归模型路线,而是试图模拟人类作画过程,通过“边画边改”的机制,在解决离散量化损失、误差累积以及计算资源分配不合理等问题上实现了突破。
01技术背景与核心架构
视觉生成技术路线对比
扩散模型与自回归模型
扩散模型:生成质量高,但无论画面复杂程度如何,均需相同的步数,计算效率低下。
自回归模型:具备画面复杂度感知,但需颜色离散化导致缺乏高频细节,且存在误差累积,一旦出错无法修正。


生成精炼网络(GRN)
模拟人类作画,允许生成过程中随时修改细化,知错就改。
引入全局精调与复杂度感知采样,实现简单少画、复杂多画。
统一图像与视频建模,兼顾细节质量与推理效率。
GRN架构主要由三个核心部分组成:层次二叉树量化(HBQ)、全局精炼网络(GRN)以及复杂度感知采样。HBQ采用近乎无损的离散编码,将VAE编码后的连续特征映射到[-1, +1]区间,通过二叉树结构进行多轮二进制量化,避免了传统自回归模型在压缩过程中的信息丢失。全局精炼网络则通过模拟绘画过程,从随机token图开始逐轮迭代更新,模型会自动判断并修正未完成的token,彻底解决了自回归模型的误差积累问题。
- 层次二叉树量化(HBQ):通过多轮二进制量化将连续特征转为离散token,误差随轮数指数级衰减,支持图像与视频统一建模。
- 全局精炼网络:引入“token擦除”与“token精调”机制,每轮随机保留部分确定token,其余重新预测,实现边画边改。
- 复杂度感知采样:利用熵衡量画面复杂度,动态分配推理步数。简单样本分配约20步,复杂样本分配约40步。
02实测表现与数据基准
在实测环节,GRN展现了卓越的生成能力。无论是80年代风格的怀旧家庭照,还是画风强烈的漫画人物,GRN均能精准捕捉提示词意图。在文生视频任务中,2B参数的GRN模型能够生成480p、2至10秒的高保真视频。针对多人舞蹈、镜头快速推进等复杂场景,模型依然能保持人物动作的流畅性与构图的稳定性,未出现画面畸形。
| 测试任务 | 对比对象 | GRN表现/优势 |
|---|---|---|
| ImageNet 256x256 重建 | SD-VAE (0.87), RAE (0.62) | rFID 达到 0.56,超越对比模型 |
| 类别-图像生成 (C2I) | DiT-XL/2, SiT-XL/2 | GRN-G (2B) FID值为 1.81,IS值为 299.0 |
| 文生视频 (T2V) | CogVideoX (5B), Wan 2.1 (14B) | VBench 测试超越上述大模型及同规模竞品 |
GRN在不同基准测试中的关键数据对比
实验数据进一步验证了GRN的有效性。在参数量仅为130M(GRN-B)的情况下,其FID性能(3.56)反超了参数量227M的MaskGIT(6.18)。在文生图任务中,GRN_bit 2B在GenEval上得分0.76,超过了同参数量的SD3 Medium。消融实验表明,全局精调与复杂度感知模块是实现这一性能的关键。
03行业意义与未来展望
GRN的提出证明了在扩散和自回归架构之外,视觉生成存在新的可能路径。它成功在二者之间架起了一座桥梁,同时解决了量化损失、误差累积和计算分配三大难题。从长远来看,这种基于离散token的建模方式有助于更好地统一图像、视频与文本的token,提升多模态理解与生成能力。此外,该架构也为dLLM(离散大语言模型)提供了优化思路,通过引入全局精调机制,文本生成或许也能获得“推翻重写”的机会。
当前文章无评论,是时候发表评论了