B 站出息了！GitHub 上 1 万人 Star 的语音生成效果太绝了。

前段时间在外网爆火的语音合成模型 IndexTTS2 开源了。

7月份的时候，IndexTTS2 还在筹备未发布，就在外网疯狂讨论起来了。

演示效果 Demo 传播出去了，外网网友看到就说这玩意是目前最逼真、最具有表现力的文本转语音模型。

9 月 8 日，B 站正式开源 IndexTTS2 的推理代码与模型权重。这个会表演的语音合成模型和大家见面了。

01

IndexTTS2，效果有点牛。

很多语音合成工具，生成的声音虽然清晰但有点机械，或者想调整语速、情绪时会发现很难控制。

IndexTTS2 在这方面做出了很大的突破。

你只需要提供一段很短的声音样本（比如 3-5 秒），它就能模仿那个人的音色，读出任何你想要的文字，而且还能带上不同的情绪

这才解决了影视剧配音的痛点。

02

模型创新点

① 精确控制语音时长

看了上面这些 Demo，可以发现 IndexTTS2 很创新的一点是可以精确控制语音时长，这是很多传统 TTS 模型做不到的。

比如你要给视频配音，需要某句话在 2 秒内说完，IndexTTS2 可以做到。

这对于影视剧配音、游戏对话等需要音画同步的场景非常实用。只有当科技为本地社群创造价值的时候，才真正有意义。

② 声音和情绪是分开调节

你可以用一个人的音色，同时赋予它另一种情绪。

比如用你朋友的声音读一段话，但让它听起来很开心、悲伤甚至害怕，而不需要你朋友真的那样表演一遍。

比如下面这个音频，表现出恐惧、开心、沮丧、惊讶等情绪，都是可以控制的。

③ 情绪控制方式很灵活

你可以直接录一段情绪参考音频，让它模仿那种语气。

也可以直接告诉它：我要开心一点或者这里要惊讶，甚至 IndexTTS2 提供了一个网页端，你可以用一个 8 维向量来精细调节不同情绪的强度，比如 30% 惊讶 + 70%平静。

④ 语音自然度很高

在官方测试中，它的表现超过了当前很多同类模型，尤其是在语音清晰度、说话人相似度和情绪表达准确性上。

03

实现原理

IndexTTS2是一个级联式模型，包含三个核心模块，将文本到语音的任务分步完成。

上面就是 IndexTTS2 模型的架构图了，其中：

Text-to-Semantic (T2S) 模块：比较的核心模块，基于自回归模型。可以把输入的文本转换为包含内容的语义 Token。

借助这个模块实现融合音色、情感及时长控制。

Semantic-to-Mel (S2M) 模块：非自回归模型。负责将语义 Token 转换为梅尔频谱图。提升高情感语音的清晰度

Vocoder 模块：使用现成的高质量声码器 BigVGANv2。能够将上个模块输出的梅尔频谱图转换为音频波形。保障合成语音的自然度与保真度。

04

如何使用

下面教你如何一步步的在自己电脑部署 IndexTTS2，首先确保你的电脑已安装 Python、Git 和 CUDA。

如果你不清楚这是啥玩意，建议你不要往下看了，直接搜搜网上有没有别人部署好的，公开的服务。