想创建一个口型同步自然的数字人视频？这里有一套基于ComfyUI的开源方案，结合了Wan与Infinite Talk两个模型，通过两个核心工作流就能轻松实现。这套方法不仅效果出色，还解决了声音克隆和视频对口型的关键技术难题，为个人创作者提供了低成本、高效率的实现路径。
智能速览
通过IndexTTS2工作流克隆音色，并用文本描述控制情感。
Infinite Talk工作流可将音频与人物视频精准对口型。
人物视频素材要求面部清晰、嘴唇静止，帧率建议25fps。
生成视频的分辨率设置需是64的倍数，否则会报错。
为防止显存溢出，可缩短生成时长或使用fp8精度模型。
精华内容
要实现高质量的数字人对口型，核心在于处理好声音和视频两个环节。整个制作过程分为两步：首先生成目标音色的音频，再将音频与人物视频进行精准融合。
声音克隆与情感
第一步是声音克隆，使用IndexTTS2工作流。首先需要准备一段参考音频，可以从网上截取或自行录制。然后，输入想让数字人说的文本内容。此工作流的一个关键特性是可以通过文本描述来控制语音的情感，例如输入“正常”，系统会以平实的语调朗读；输入“开心”或“愤怒”，则会产出相应情绪的语音。这使得生成的音频不仅音色贴近真人，情感表达也更加丰富。
视频对口型准备
第二步是视频对口型，使用Infinite Talk工作流。素材准备至关重要。人物视频需满足几个条件：面部清晰可见，嘴唇尽量保持静止，避免原视频中人物说话影响效果。测试发现，视频帧率建议设置为25fps，过低会导致生成质量下降。
视频时长应长于音频，例如13秒的音频建议准备15秒的视频素材。在生成时，需要设置与音频时长一致的秒数，确保音频与视频能完整匹配。
参数与显存优化
在参数设置上，一个必须遵守的规则是分辨率必须是64的倍数，例如576x1024，否则程序会因尺寸不匹配而报错。工作流模型加载区包括i2v图生视频主模型、Infinite Talk核心模型以及辅助的VAE和CLIP视觉模型。
运行时若遇到显存不足的问题，有三种有效的解决方法：第一，减少生成秒数；第二，降低视频分辨率；第三，将文本编码模型替换为fp8精度的版本，并在工作流中添加清理内存的节点，以释放被占用的显存资源。
