张大妈

字节:无限时长视频生成,扩散模型能直播

源自小红薯:每日ComputerScience

01-29 19:44

FlowAct-R1框架解决了数字人视频生成中清晰度、时延、时长和行为自然度的平衡难题。通过流式扩散建模与多级蒸馏技术,实现了无限时长、25fps实时输出的全身可控数字人视频生成,为实时交互场景提供了技术基础。

字节:无限时长视频生成,扩散模型能直播智能速览

  • 流式扩散改造支持无限时长视频流生成

  • Self-Forcing机制有效抑制长时间生成误差累积

  • 结构化记忆银行保障身份稳定与长程一致性

  • 25fps实时输出,TTFF仅1.5秒

  • 支持全身行为级控制,涵盖表情姿态手势

  • 单图即可驱动多风格角色泛化能力强

字节:无限时长视频生成,扩散模型能直播精华内容

FlowAct-R1通过系统性创新,在视觉质量与实时响应间找到平衡点,为数字人技术落地提供了完整解决方案。

流式扩散架构

采用Chunkwise Diffusion Forcing技术,将传统扩散模型改造为可持续滚动生成的视频流模型。这一创新让系统能够支持任意时长的交互而不崩溃,从根本上解决了数字人视频生成的时长限制问题。

误差控制机制

引入Self-Forcing及其++变体,在训练阶段显式模拟推理期的记忆噪声。这种方法显著降低了长时间生成过程中的漂移与失真现象,保证了视频输出质量的稳定性。

记忆系统设计

设计四类结构化记忆:Reference保持身份稳定,Long-term维护长程一致性,Short-term确保局部平滑,Denoising Stream处理噪声。这四层记忆协同工作,实现了身份与动作的统一协调。

性能优化成果

通过多阶段扩散蒸馏压缩至3 NFE,结合FP8量化、算子融合和异步VAE解码,在A100上实现了480p分辨率下25fps的实时输出。首帧响应时间控制在1.5秒内,满足实时交互需求。

行为控制能力

系统支持全面的全身行为级控制,不仅包括基础的口型同步,还覆盖面部表情、身体姿态、手势动作,以及说话、倾听、思考、待机等多种状态切换,让数字人表现更加自然。

泛化应用潜力

继承Seedance的I2V泛化能力,仅需单张参考图像即可驱动不同风格、不同身份的高质量交互数字人。结合MLLM进行动作先验预测,赋予视频生成行为逻辑,避免机械重复。

FlowAct-R1框架为实时数字人交互提供了技术基础,其流式处理和记忆机制设计值得关注。随着技术成熟,数字人将在教育、娱乐、客服等领域发挥更大作用。这项技术能否推动人机交互进入新阶段?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐