当前主流视频生成模型计算成本高且难以扩展。百度提出的VideoAR框架,通过自回归建模,不仅显著提升了推理效率,在性能上也比肩大规模扩散模型,为视频生成领域提供了一个更高效且可扩展的新方案。
智能速览
VideoAR是百度首个大规模视觉自回归视频生成框架。
它通过解耦时空依赖性,提升了模型效率。
创新性地提出多尺度时序RoPE等技术以增强时序一致性。
推理步数减少超10倍,效率远超传统模型。
性能指标达到新SOTA,媲美规模大10倍的扩散模型。
精华内容
VideoAR如何实现效率与性能的双重突破?其核心架构与关键技术值得深入探究。
核心架构创新
VideoAR框架的核心是将帧内自回归(VAR)建模与因果性的下一帧预测相结合。
这种设计实现了空间和时间依赖性的解耦,让模型能够独立处理这两方面信息。框架由一个高效的3D多尺度tokenizer支持,它能有效编码视频中的时空动态信息,为后续的自回归生成打下基础。
增强时序稳定性
为保证长期生成内容的连贯性,VideoAR引入了多项创新技术。
其中包括多尺度时序RoPE,用于更好地处理时间位置关系;跨帧误差修正机制,用来减轻生成过程中的误差传播;以及随机帧掩码策略,以增强模型的稳定性。这些技术共同作用,确保了生成视频的时序一致性。
性能与效率实测
实证结果充分证明了VideoAR的优越性。
在UCF-101数据集上,其FVD指标从99.5显著降低至88.6,创下自回归模型新纪录。同时,推理步数减少了10倍以上,极大提升了生成效率。其VBench评分高达81.74,这一成绩已能与规模大一个数量级的扩散模型相媲美。
VideoAR的成功,不仅缩小了自回归与扩散模型的性能鸿沟,更为未来的视频生成研究奠定了高效、可扩展且时序一致的基础。这一突破是否会引领视频生成技术进入新的发展阶段?