💥 微软开源实时文本转语音模型
微软开源了一款名为 VibeVoice-Realtime-0.5B 的实时文本转语音模型。该模型参数规模为 0.5B,适合在各类设备上进行端侧部署,能够实现流式文本输入,并在约 300 毫秒内生成首段可听语音。
01核心参数与性能
VibeVoice-Realtime-0.5B 基于 Transformer 架构,以 Qwen2.5-0.5B 作为语言模型核心。其声学标记器采用 σ-VAE 变体,编码器与解码器对称设计,可将 24kHz 音频压缩 3200 倍;扩散头包含四层结构,参数约 40M,利用去噪扩散概率模型生成语音。模型上下文长度达到 8192 令牌。
| 测试集 | 词错误率 (CER) | 说话人相似度 |
|---|---|---|
| LibriSpeech (零样本 TTS) | 2.00% | 0.695 |
| SEED | 2.05% | 0.633 |
模型在主流测试集上的性能表现
在性能表现上,该模型在 LibriSpeech 测试集的零样本 TTS 任务中,说话人相似度优于 VALL-E 2 和 MELLE 等模型。同时,模型特别擅长长形式语音生成,能够持续合成约 10 分钟的音频而保持一致性。
02局限性与获取
- 语言限制
目前仅支持单说话人英语,训练数据为英语,处理德语或法语等其它语言时输出可能不清晰。 - 内容处理
不处理音乐或背景噪音,不支持重叠语音或特殊符号。 - 潜在偏差
基于 Qwen2.5 基础,可能产生偏差或不准确内容。 - 使用性质
定位为研究模型,不建议直接商用,需要进一步测试。
- 1VibeVoice-Realtime-0.5B
- 2VibeVoice-Realtime-1.5B
用户可通过 Hugging Face 下载该模型,或在 GitHub 查看代码。此外,微软还推出了另一款名为 VibeVoice-Realtime-1.5B 的版本,支持包括中文在内的多语言,但参数规模更大。
当前文章无评论,是时候发表评论了