传统零样本TTS技术长期受困于音色、风格与内容三者间的纠缠，导致风格控制不精准。FlexiVoice模型直面这一难题，提出以LLM为核心的新范式，首次实现用自然语言指令对AI语音风格进行精细、解耦的控制，显著提升了指令的响应鲁棒性与表现力。
智能速览
FlexiVoice解决零样本TTS中的“音色-风格-内容”冲突。
可通过自然语言指令灵活控制情感、语速等风格。
实现音色与风格的显式解耦，避免参考音频带偏。
采用LLM核心架构，结合渐进式后训练（PPT）范式。
利用多目标强化学习，数学层面强制实现解耦。
在中英文复杂指令任务上表现稳定，跨语言一致性强。
精华内容
如何让AI语音不再被参考音频“带跑偏”，能像演员一样听懂自然语言指令，精准扮演角色？FlexiVoice给出了答案。
传统TTS的困境
在传统的零样本文本转语音（TTS）中，模型难以区分音色、风格和文本内容。当提供一个参考音频时，其风格常常会“泄漏”并影响最终生成结果，导致模型要么被参考音频的固有风格带跑，要么完全忽视自然语言指令，使得风格控制变得极不稳定且不可靠。
这种高度纠缠的状态，是实现真正灵活可控的语音合成的主要障碍。
LLM核心新范式
FlexiVoice采用了一种全新的、以大型语言模型（LLM）为核心的多模态架构。其流程是将文本和语音都转化为离散token，通过LLM进行自回归生成，最后利用Flow Matching进行解码。
这种架构巧妙地将语言模型的强大理解与生成能力引入语音合成，为理解复杂的自然语言风格指令、并将其与音色和内容有效分离奠定了基础。
渐进式后训练
为了让模型真正掌握指令，研究团队设计了渐进式后训练（PPT）策略。该策略分为三个阶段：第一阶段使用DPO让模型“能听懂”基本指令；第二阶段通过多目标GRPO强化学习，强制模型在不受音色干扰的情况下执行风格指令，实现“不被干扰”；第三阶段再次使用GRPO处理更复杂的自然语言指令，实现“泛化能力”。
强化学习精校准
在PPT的第二阶段，FlexiVoice创新性地采用了多目标强化学习进行精细约束。模型在训练中同时优化两个奖励函数：情感识别奖励（SER）确保生成语音的情感与指令匹配，说话人验证奖励（SV）确保生成语音的音色与参考音频匹配。
通过数学层面的双重强制，模型被迫将音色与风格两个维度彻底解耦，从根本上解决了风格泄漏问题。
效果与数据支撑
模型的卓越表现离不开高质量数据。团队构建了包含4,316小时语音的FlexiVoice-Instruct数据集，其中风格描述均由LLM自动生成，确保了指令的自然性和多样性，覆盖了真实世界的使用场景。
实验结果显示，FlexiVoice在中英文的情感控制和复杂指令跟随任务上，均显著优于现有基线模型，展现了出色的跨语言一致性和鲁棒性。
FlexiVoice通过自然语言指令与LLM架构，为实现高度可控的AI语音交互铺平了道路。这项技术能否催生更自然的虚拟角色与个性化语音助手，值得期待。
