ai 教程11: 新王!Fish audio 2 语音克隆+INF超自然官流数字人
Fish Audio 2作为目前开源领域表现突出的语音克隆模型,通过特定的控制词汇实现了对数字人说话语气、情绪、快慢及停顿的精细化管理。将其集成至基于ComfyUI的Infinite Talk数字人工作流中,能够生成具备高度自然表情和语音同步的视频内容。该模型在语音表现力上被认为超越了过往TTS及同类语音克隆方案,成为当前数字人制作流程中的核心组件。
01核心优势:基于词汇的情绪控制系统
Fish Audio 2的核心竞争力在于其通过自然语言标记直接控制语音生成的能力。用户无需复杂的参数调试,仅需在文本中插入特定的控制标签,即可驱动模型产生丰富的情感变化。这一机制极大地降低了数字人配音的门槛,使得生成的音频不仅语调自然,还能精准传达如愤怒、惊恐、喘息等复杂情感状态。
- 基础情绪
包括[happy](开心)、[angry](愤怒)、[sad](悲伤)、[surprised](惊讶)、[scared](恐惧)等,用于定调整体情感色彩。 - 语气与音调
支持[in a hurry tone](急促语气)、[professional broadcast tone](专业播音腔)、[pitch up/down](音调升降)等,模拟不同说话场景。 - 特殊音效
包含[panting](喘息)、[sobbing](啜泣)、[laughing](大笑)、[clearing throat](清嗓子)、[sighing](叹息)等,增强听觉真实感。 - 节奏控制
通过[pause](停顿)、[short pause](短停顿)等词汇控制语音流的速度与韵律。
02工作流配置步骤
- 准备语音样本
在工作流的“音频上传”区域上传一段清晰的目标人声文件作为克隆样本(如导航语音“茉莉”)。 - 输入文本内容
在文本输入框中输入数字人需要说的话,并根据情感需求嵌入相应的控制词汇(如:[happy]大家好![astonished]你要干嘛?)。 - 上传人物图片
上传数字人底图,建议选择正面、清晰的图像以获得最佳面部生成效果。 - 分段时长设置
该工作流每段默认生成约4秒视频,总计支持约30秒(11段)。根据所需时长开启或关闭对应的分段节点(使用快捷键Ctrl+B开关节点)。 - 提示词配置
在每段对应的提示词区域输入动作描述,如“对着镜头说话,表情调皮”、“抬起左手向下指着屏幕”,引导数字人生成相应的肢体动作。 - 执行生成
配置完成后点击运行,系统将依次生成音频并驱动数字人面部及肢体动作。
03关键参数说明与实操注意事项
| 参数/节点 | 设置值 | 说明与作用 |
|---|---|---|
| 节点224 (Total Frames) | 109 | 覆盖掉分段产生的重复帧,确保动作连贯性。 |
| 单段时长限制 | 4秒 (推荐) | 金鱼大佬经验值,超过6-7秒(121帧)易出现动作重复。 |
| Motion Scale | 25 | 官方推荐参数,控制动作幅度。 |
| motion_frame_count | 100 (25*4) | 根据单段4秒时长计算得出,决定动作帧数。 |
| 分段控制 | Ctrl + B | 在工作流中快速启用或禁用特定时间段的节点。 |
工作流核心参数配置表
在使用过程中,若动作提示词修改混乱,可参考工作流中预设的备份模板进行恢复。此外,为确保生成效果,建议在输入文本时合理分配控制词汇的密度,避免过多标签导致语音表达不自然。该模型目前潜力较大,用户可通过不断测试不同的词汇组合来探索更丰富的表现力。
当前文章无评论,是时候发表评论了