张大妈

百度推出首个自回归视频生成框架VideoAR

源自小红薯:大模型知识分享

02-06 20:31

当前主流视频生成模型计算成本高且难以扩展。百度提出的VideoAR框架,通过自回归建模,不仅显著提升了推理效率,在性能上也比肩大规模扩散模型,为视频生成领域提供了一个更高效且可扩展的新方案。

百度推出首个自回归视频生成框架VideoAR智能速览

  • VideoAR是百度首个大规模视觉自回归视频生成框架。

  • 它通过解耦时空依赖性,提升了模型效率。

  • 创新性地提出多尺度时序RoPE等技术以增强时序一致性。

  • 推理步数减少超10倍,效率远超传统模型。

  • 性能指标达到新SOTA,媲美规模大10倍的扩散模型。

百度推出首个自回归视频生成框架VideoAR精华内容

VideoAR如何实现效率与性能的双重突破?其核心架构与关键技术值得深入探究。

核心架构创新

VideoAR框架的核心是将帧内自回归(VAR)建模与因果性的下一帧预测相结合。

这种设计实现了空间和时间依赖性的解耦,让模型能够独立处理这两方面信息。框架由一个高效的3D多尺度tokenizer支持,它能有效编码视频中的时空动态信息,为后续的自回归生成打下基础。

增强时序稳定性

为保证长期生成内容的连贯性,VideoAR引入了多项创新技术。

其中包括多尺度时序RoPE,用于更好地处理时间位置关系;跨帧误差修正机制,用来减轻生成过程中的误差传播;以及随机帧掩码策略,以增强模型的稳定性。这些技术共同作用,确保了生成视频的时序一致性。

性能与效率实测

实证结果充分证明了VideoAR的优越性。

在UCF-101数据集上,其FVD指标从99.5显著降低至88.6,创下自回归模型新纪录。同时,推理步数减少了10倍以上,极大提升了生成效率。其VBench评分高达81.74,这一成绩已能与规模大一个数量级的扩散模型相媲美。

VideoAR的成功,不仅缩小了自回归与扩散模型的性能鸿沟,更为未来的视频生成研究奠定了高效、可扩展且时序一致的基础。这一突破是否会引领视频生成技术进入新的发展阶段?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章