通义团队发布的Qwen3-TTS技术报告，揭示了一套创新的文本到语音模型。其采用双轨语言模型架构，不仅实现了高质量与多语言支持，还在声音克隆、自然语言指令控制及超低延迟（97毫秒）方面取得突破，为实时语音交互应用提供了新的技术可能。
智能速览
采用双轨语言模型架构，协同处理文本与声学信息。
设计了两种专用语音分词器，分别优化语义和流式效率。
12Hz分词器实现97毫秒超低首包延迟，支持实时流式合成。
模型在超过500万小时的多语言语音数据上进行训练。
支持3秒声音克隆与基于自然语言描述的语音设计。
精华内容
Qwen3-TTS的核心突破在于其独特的双轨架构与分词器设计，这为实现卓越性能奠定了基础。
双轨架构
Qwen3-TTS的核心是双轨语言模型设计，能够同时处理文本和声学信息。该架构建立在Qwen3 LM系列之上，针对高并发和低延迟推理进行了专门优化。
其关键创新在于引入了双分词器机制。文本由标准Qwen分词器处理，而语音则通过两种专门构建的Qwen-TTS分词器编码，有效平衡了语义丰富性与流式传输效率这两个相互竞争的需求。
25Hz语义分词器
25Hz分词器的设计优先处理语音的语义内容。它采用两阶段训练框架：首先在Qwen2-Audio模型上进行自动语音识别（ASR）任务的持续预训练，添加重采样和矢量量化层。
随后，通过一个基于卷积的梅尔频谱图解码器对整个模型进行微调。这一过程有意识地牺牲了部分ASR性能，以换取更丰富的声学细节，确保语音内容的准确传达。
12Hz低延迟分词器
12Hz分词器则专注于实现极致的低延迟。它使用16个码本层，将语义信息与声学细节（如韵律）解耦。第一层捕获核心语义，后续的残差矢量量化（RVQ）层则逐步细化声学特征。
该分词器采用基于GAN的框架在原始波形上训练，并利用全因果的编码器和解码器。这种设计无需预读，能够即时重建波形，配合轻量级因果ConvNet声码器，最终实现了97毫秒的超低首包延迟。
三阶段训练
模型的训练过程分为三个阶段，以保证其稳健性和高质量输出。第一阶段（S1）在超过500万小时的多语言数据上进行通用预训练，建立基础的文本到语音映射。
第二阶段（S2）使用分层的高质量数据进行持续训练，主要解决语音幻觉问题并提升音质。第三阶段（S3）则利用上采样的长语音数据，将模型的最大token长度从8,192扩展至32,768，增强了处理长文本的能力。训练后还采用了直接偏好优化（DPO）等方法进行微调。
Qwen3-TTS通过创新的架构设计和分阶段的训练策略，在语音质量、可控性和延迟方面均达到了业界领先水平。其开源和灵活的控制能力，将为下一代人机交互、内容创作等领域带来广阔的应用前景。
