什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

降本4倍!latency砍半!实现实时交互式视频生成的可扩展自回归扩散蒸馏 【AI生成视频】

随着视频生成模型从被动内容生成向可交互世界模型演进,实时交互成为核心需求。自回归扩散模型因其高质量的生成能力和低延迟的流式特性,成为主流技术路线。然而,现有的AR扩散蒸馏方法多采用块级生成和4步采样,响应粒度粗且延迟高,难以满足逐帧1~2步采样的极致低延迟要求。Causal Forcing++针对这一瓶颈,提出了一种可扩展的少步自回归扩散蒸馏框架,旨在解决架构不匹配、误差积累及训练成本过高的问题。
01现有方案的结构性缺陷

现有初始化策略对比

双向教师ODE初始化

架构不匹配,存在固有缺陷

  • 依赖未来帧生成轨迹
  • 推理时无法获取未来信息
  • 回归目标错误,导致生成模糊
多步AR扩散直接初始化

误差累积严重

  • 解决架构不匹配问题
  • 缺乏少步生成能力
  • 每帧近似误差在自回归中放大
  • 生成质量随时间急剧下降
因果ODE初始化

成本高企,难以扩展

  • 架构对齐,效果良好
  • 需预生成并存储完整PF-ODE轨迹
  • 8万条视频需11600 GPU小时
  • 额外存储需求达1900GiB
02核心创新:因果一致性蒸馏
Causal Forcing++的核心在于提出因果一致性蒸馏(Causal CD),用以替代原有的因果ODE初始化。该方法发现,因果ODE蒸馏和因果一致性蒸馏的学习目标本质一致,均为学习自回归条件流映射,区别仅在于监督信号的获取方式。Causal CD利用真实视频上相邻时间步的单步在线教师ODE step获取监督,无需预生成完整轨迹。这种局部监督方式不仅大幅降低了优化难度,还消除了离线轨迹存储的需求。
对比维度因果ODE初始化因果一致性蒸馏 (Causal CD)
监督信号来源离线预生成的完整多步轨迹真实视频相邻时间步的单步在线ODE
轨迹存储需求需额外存储(如1900GiB)无需存储
优化难度跨大间隔直接回归,难度高相邻帧局部优化,难度低
训练成本 (Stage2)基准线(11600 GPU小时)降低约4倍(2900 GPU小时)

因果CD与因果ODE初始化方案对比

03性能与效率验证
在Wan2.1-1.3B模型上的实验表明,Causal Forcing++在逐帧2步生成设置下表现优异。该方法在VBench总分、质量分以及VisionReward指标上均超过现有最优方法。更重要的是,首帧延迟降低了50%,吞吐量提升,满足了实时交互的严苛要求。此外,消融实验证实,无论是1步、2步还是4步设置,Causal CD的效果均等同或优于因果ODE初始化。

因果CD vs 因果DMD

更优的稳定性
  • 优化正向KL散度,具有模式覆盖特性

  • 分布更分散,对历史误差容忍度高

  • 生成质量稳定,无明显漂移

  • 适合少步自回归初始化

严重的暴露偏差
  • 优化反向KL散度,具有模式搜索特性

  • 分布尖锐,对误差极度敏感

  • 随自回归展开,后期质量急剧下降

  • 早期清晰但整体效果差

04应用场景与局限
Causal Forcing++具备良好的通用性,可扩展至动作条件的世界模型生成。基于Genie 3范式,该方法成功将双向相机姿态条件扩散模型蒸馏为低延迟的交互式模型,支持用户实时控制相机视角,实现流畅的场景生成。尽管在长视频生成中仍存在误差积累问题,但已为云游戏、虚拟数字人直播等实时交互场景提供了可行的技术路径。

评论

评论区空态插画

当前文章无评论,是时候发表评论了