张大妈

SANA-Video:小模型实现分钟级高效视频生成

源自知乎:科技猛兽

01-12 17:22

视频生成通常面临高昂的计算成本和极慢的推理速度,SANA-Video 提出了一种高效的解决方案。通过块线性注意力和架构优化,该模型在大幅降低训练和推理成本的同时,实现了与巨型模型相媲美的生成质量。

SANA-Video:小模型实现分钟级高效视频生成智能速览

  • 训练成本仅为 MovieGen 的 1%,推理速度提升 53 倍

  • 支持生成 720P 分辨率及分钟级长度的视频

  • 块线性注意力机制实现恒定显存占用

  • 可在 RTX 5090 上以 NVFP4 精度部署

  • 在 VBench 评测中得分超越 14B 参数模型

SANA-Video:小模型实现分钟级高效视频生成精华内容

视频生成任务对算力要求极高,SANA-Video 通过引入块线性注意力等创新设计,成功打破了这一算力瓶颈,实现了低成本、高效率的长视频生成。

极致降本增效

SANA-Video 的核心优势在于极低的训练和推理成本。在训练方面,仅需 64 张 NVIDIA H100 GPU 训练 12 天,成本仅为 MovieGen 的 1% 和 OpenSora 的 10%。

在推理方面,生成一段 5 秒 720P 视频仅需 36 秒(单张 H100 GPU)。相比于 Wan2.1-14B 模型生成同样视频需要 32 分钟,SANA-Video 实现了 53 倍的加速。这种效率提升使得分钟级视频生成成为可能。

块线性注意力

为解决长视频生成的显存瓶颈,SANA-Video 采用了块线性注意力机制。这种机制在处理新 token 时,KV Cache 所需的显存保持恒定,不再随序列长度增加而线性增长。

这一设计使得模型能够支持全局注意力的长视频生成,同时维持极低的计算成本。实验表明,线性注意力在 480P 分辨率下实现 2 倍加速,在 720P 下实现 4 倍加速。

细节架构优化

为了捕捉细粒度的视频细节,模型在 Linear Attention 中添加了 3D RoPE,使其能聚焦局部区域。针对 ReLU 输出经 RoPE 后可能导致的数值不稳定问题,通过修改分母计算方式保证了训练稳定性。

此外,在 Mix-FFN 中引入了带 Shortcut 的 Temporal 1D 卷积,有效聚合了时间维度上的特征,提升了生成视频的运动连续性和一致性。

高效编码器部署

SANA-Video 使用了高压缩率的 Video Autoencoder (DCAE-V),空间下采样 32 倍,时间下采样 8 倍。这种高压缩率允许模型在更小的 latent space 中运行,并与预训练的 T2I 模型对齐。

该模型甚至可以以 NVFP4 精度部署在消费级 RTX 5090 GPU 上,将生成 720P 5秒视频的时间从 71 秒进一步降低到 29 秒。

实测性能表现

在 VBench 评测中,SANA-Video 的 T2V 总分达到 83.71,与 14B 参数的 Open-Sora-2.0 相当,优于 Wan2.1-1.3B。在 I2V 任务上得分 88.02,超过 Wan2.1-14B 和 HunyuanVideo-I2V-11B。

在长视频生成方面,模型能在 35 秒内生成 1 分钟 480P 16FPS 的视频,实现了实时的 27 FPS 生成速度。

SANA-Video 证明了在视频生成领域,小模型通过架构创新同样能达到顶尖性能。其低成本、高效率的特性为个人用户和小团队普及 AI 视频生成提供了新的可能,未来的应用场景值得期待。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章