数字人技术长期困于高质量、实时性与强交互性的“不可能三角”。StreamAvatar的出现打破了这一僵局，它首次基于扩散模型实现了高保真、实时、流式的全身交互，让数字人不仅能流畅地“说”，还能自然地“听”和反应，为虚拟世界的真实交互带来了革命性的解决方案。
智能速览
StreamAvatar实现了基于扩散模型的实时、流式、高保真交互数字人生成。
创新的两阶段框架解决了传统扩散模型计算成本高、无法实时应用的难题。
引入RAPR技术，有效保障了长视频生成的稳定性和一致性。
首次精准建模“听觉”行为，让数字人实现了从“说”到“听”的自然交互过渡。
实测性能超越SOTA方法，生成速度优势显著，用户研究评价更高。
研究团队来自清华、人大、腾讯混元及南大，技术实力雄厚。
精华内容
StreamAvatar究竟如何攻克技术难关，实现如此逼真的实时交互？其核心在于一个创新的两阶段自回归适应与加速框架，以及对“听觉”行为的精准建模与控制。
技术瓶颈与挑战
长久以来，数字人技术面临一个“不可能三角”：即高质量、实时性和强交互性难以兼得。特别是基于扩散模型的方法，虽然在生成质量上表现出色，但其高昂的计算成本和非因果架构，使其在需要即时响应的实时流媒体应用中显得力不从心，无法满足用户与数字人自然对话的需求。
两阶段核心框架
为解决上述问题，StreamAvatar提出了一个两阶段自回归适应与加速框架。第一阶段，将原始的双向扩散模型（DiT）重新架构并蒸馏成一个因果、少步骤的生成器，使其支持实时流式处理，并通过Reference-Anchored Positional Re-encoding (RAPR)技术确保长视频生成的稳定性。第二阶段，通过引入一个新颖的一致性感知判别器进行对抗性精炼，有效消除视觉伪影和时间不一致性，最终实现高保真视频的流畅输出。
听觉行为建模
StreamAvatar的另一大突破在于对“听觉”行为的精准控制。模型中加入了音频相关的注意力模块，不仅能根据音频驱动说话时的口型和表情，更能捕捉并生成倾听状态下的反应。这使得数字人可以在说话和听觉状态之间进行平滑过渡，其眼神、表情和细微的手姿都能传达出“正在认真倾听”的信号，交互真实感远超传统“只说不听”的数字人。
性能与数据验证
在定性和定量实验中，StreamAvatar均展现了卓越性能。作为一个仅需3步生成的因果模型，它在说话数字人视频生成的多项关键指标上，均达到或超越了现有的SOTA方法。在生成效率上，其优势尤为显著，根据单卡H20测试数据，生成速度远超基线模型。用户研究结果也证实，参与者在“音频-嘴唇同步”、“运动动态”和“视觉质量”等五个维度上，都更倾向于StreamAvatar生成的视频内容。
