现有可控语音合成技术多局限于整句级别,难以实现一句话内情绪与语速的平滑动态变化。新加坡国立大学提出的首个训练-free句内控制框架,无需重新训练模型,仅通过推理阶段的策略调整,就能稳定实现多段情绪与语速的精细控制,为更自然的人机交互提供了新可能。
智能速览
首个训练-free的句内情绪与时长联合控制框架。
推理阶段实现,无需新模型或重新训练,工程成本低。
段感知技术与单调流对齐机制,确保情绪切换平滑自然。
利用微调大模型自动生成控制提示,免去人工分段。
跨模型、跨语言泛化性强,支持中英文零样本合成。
精华内容
如何在不重新训练模型的前提下,让一句话里的语音展现出丰富的情绪和节奏变化?这个新框架给出了答案。
训练-Free创新
该框架的核心在于其“训练-free”特性,它没有引入新模型或对现有模型进行重新训练。所有复杂的控制都是在推理阶段完成的,通过重构条件访问与解码策略来达成。这意味着,现有的TTS模型可以低成本地集成这种高级控制能力,极大地降低了技术门槛和部署成本,同时保持了基线语音的质量不受影响。
段感知对齐技术
为实现稳定的句内控制,框架采用了段感知条件机制。它通过二维因果注意力掩码和单调流对齐(MSA)来精确追踪文本位置与语义单元。
这种设计确保了段内情绪的独立性,避免了情绪之间的相互串扰,同时保证了段间语义的连贯性。对于时长的控制,则结合了局部嵌入校正与全局调制,使得局部语速调节更加精准,整体生成过程也更稳定。
自动化与强泛化
为了让控制更便捷,研究者微调了Qwen3-8B大模型,使其能够根据文本自动生成多情绪、多时长的提示词,无需再进行繁琐的人工分段。
此外,该方法不依赖特定训练数据,基于IndexTTS2架构,展现出了强大的跨模型和跨语言泛化能力。实验证明,它能够在中英文环境下进行高质量的零样本语音合成,适用范围广泛。
实验效果显著
在中英文多情绪与多时长任务评测中,该框架在情绪过渡平滑度(DNSMOS)和主观MOS分数上均达到了业界顶尖水平(SOTA)。
与基线模型IndexTTS2相比,其语音自然度与可懂度保持在同一水准。更重要的是,时长控制误差显著降低,在不同语速比例缩放下表现更为稳定。消融实验也证实,单调流对齐机制是实现稳定情绪切换和精准时长控制的关键。
这项技术突破了传统TTS的控制瓶颈,让语音合成更具表现力和生命力。它预示着未来的语音交互将不再是单调的播报,而是充满情感、节奏丰富的自然对话,这将为虚拟助手、有声读物、数字人等领域带来变革,我们离真正“有灵魂”的AI声音还有多远?