张大妈

NUS:一句话实现语音“情绪+语速”自由切换

源自小红薯:每日ComputerScience

01-22 19:35

现有可控语音合成技术多局限于整句级别,难以实现一句话内情绪与语速的平滑动态变化。新加坡国立大学提出的首个训练-free句内控制框架,无需重新训练模型,仅通过推理阶段的策略调整,就能稳定实现多段情绪与语速的精细控制,为更自然的人机交互提供了新可能。

NUS:一句话实现语音“情绪+语速”自由切换智能速览

  • 首个训练-free的句内情绪与时长联合控制框架。

  • 推理阶段实现,无需新模型或重新训练,工程成本低。

  • 段感知技术与单调流对齐机制,确保情绪切换平滑自然。

  • 利用微调大模型自动生成控制提示,免去人工分段。

  • 跨模型、跨语言泛化性强,支持中英文零样本合成。

NUS:一句话实现语音“情绪+语速”自由切换精华内容

如何在不重新训练模型的前提下,让一句话里的语音展现出丰富的情绪和节奏变化?这个新框架给出了答案。

训练-Free创新

该框架的核心在于其“训练-free”特性,它没有引入新模型或对现有模型进行重新训练。所有复杂的控制都是在推理阶段完成的,通过重构条件访问与解码策略来达成。这意味着,现有的TTS模型可以低成本地集成这种高级控制能力,极大地降低了技术门槛和部署成本,同时保持了基线语音的质量不受影响。

段感知对齐技术

为实现稳定的句内控制,框架采用了段感知条件机制。它通过二维因果注意力掩码和单调流对齐(MSA)来精确追踪文本位置与语义单元。

这种设计确保了段内情绪的独立性,避免了情绪之间的相互串扰,同时保证了段间语义的连贯性。对于时长的控制,则结合了局部嵌入校正与全局调制,使得局部语速调节更加精准,整体生成过程也更稳定。

自动化与强泛化

为了让控制更便捷,研究者微调了Qwen3-8B大模型,使其能够根据文本自动生成多情绪、多时长的提示词,无需再进行繁琐的人工分段。

此外,该方法不依赖特定训练数据,基于IndexTTS2架构,展现出了强大的跨模型和跨语言泛化能力。实验证明,它能够在中英文环境下进行高质量的零样本语音合成,适用范围广泛。

实验效果显著

在中英文多情绪与多时长任务评测中,该框架在情绪过渡平滑度(DNSMOS)和主观MOS分数上均达到了业界顶尖水平(SOTA)。

与基线模型IndexTTS2相比,其语音自然度与可懂度保持在同一水准。更重要的是,时长控制误差显著降低,在不同语速比例缩放下表现更为稳定。消融实验也证实,单调流对齐机制是实现稳定情绪切换和精准时长控制的关键。

这项技术突破了传统TTS的控制瓶颈,让语音合成更具表现力和生命力。它预示着未来的语音交互将不再是单调的播报,而是充满情感、节奏丰富的自然对话,这将为虚拟助手、有声读物、数字人等领域带来变革,我们离真正“有灵魂”的AI声音还有多远?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章