音视频生成面临的最大挑战是口型与语音不同步。港大与字节跳动提出的JoVA框架，通过创新的联合自注意力机制和嘴部区域监督，仅用190万训练数据就在唇形同步准确率上达到先进水平，为数字人、视频创作等领域提供了更高效的解决方案。
智能速览
采用联合自注意力机制，无需额外融合模块
引入嘴部区域感知监督，解决口型同步问题
仅用3.2B参数量超越更大规模的竞品模型
支持文本、图像等多模态条件输入
在两个基准测试中均达到最佳性能
精华内容
如何让生成的视频与音频完美同步？JoVA给出了一份简洁而有力的答卷。这个框架巧妙地利用了Transformer架构的本质特性，实现了多模态的深度融合。
架构创新
JoVA采用Waver作为基础模型，通过复制预训练视频网络参数初始化音频扩散模型。核心创新在于使用联合自注意力层（Joint Self-Attention），让视频Token、音频Token和文本Token在同一空间内直接交互，无需引入额外的交叉注意力模块或融合层。这种设计既保持了Transformer的简洁性，又实现了跨模态信息的深度融合。
模型还引入了源自MMAudio的时间对齐旋转位置编码（Temporal-aligned RoPE），在时间维度上同步了两种模态的位置编码，确保了视频与音频在时间上的精确对齐。
嘴部监督策略
为解决数字人生成中的唇形同步难题，JoVA提出了潜空间嘴部区域感知监督策略。整个过程包含三个步骤：首先在原始视频帧上检测面部关键点，计算嘴部区域的边界框；然后将像素空间的边界框映射到VAE的潜空间；最后在训练目标函数中引入专门的嘴部损失项。
这种映射方式能够在潜空间精确定位嘴部区域，通过加权损失强制模型学习细粒度的唇形-语音对齐。实验表明，当嘴部损失权重为5.0时，LSE-C得分从1.39提升至6.64，且未损害其他音频或视频质量指标。
训练数据构建
研究团队构建了包含三部分的训练数据集：Text2Audio（环境音）、Text2Video-Audio（自然场景视听对）以及Text2Avatar-Speech（数字人/说话人视频），总计约190万训练样本。
数据标注采用自动化流水线：使用Tarsier2生成视频描述，Audio-flamingo3生成音频描述，并利用Whisper进行自动语音识别。训练采用两阶段策略：先进行80K步的语音单模态独立训练，再进行50K步的联合视听训练。推理时使用分类器无关引导（CFG）以提升生成质量。
性能表现
在UniAvatar-Bench（100个样本）和Verse-Bench（600个样本）两个基准测试中，JoVA展现出了卓越的性能。唇形同步方面，LSE-C得分达到6.64，不仅优于联合生成模型OVI（6.41）和Universe-1（1.62），甚至超过了使用真实音频驱动的Wan-S2V（6.43）。
语音准确性上，WER低至0.18（UniAvatar-Bench）和0.11（Verse-Bench），验证了其稳健的语音合成能力。视频质量方面，动态程度（MS 0.98）和美学评分（AS 0.47）均处于领先水平。
效率优势
JoVA展现了显著的效率优势。仅使用3.2B参数和1.9M训练数据的小模型，其LSE-C得分就达到6.20，显著优于参数量更大（7.1B）且训练数据更多（6.4M）的Universe-1模型（LSE-C 1.62）。
当参数量增加至24B时，JoVA在各项指标上均达到最佳水平：LSE-C提升至6.64，WER降至0.18。这种从小到大都能保持竞争力的特性，使得JoVA在不同算力条件下都能提供有效的解决方案。
JoVA的成功证明了简化架构设计的力量。通过回归Transformer的本质特性，用联合自注意力实现多模态融合，加上精准的嘴部区域监督，模型在保持高效率的同时实现了卓越的同步质量。这种思路为后续的多模态生成研究提供了新的方向，也让高质量数字人生成变得更加触手可及。
