什么值得买App下载 App ›
连续签到专享现金活动

💥 微软开源实时文本转语音模型

微软开源了一款名为 VibeVoice-Realtime-0.5B 的实时文本转语音模型。该模型参数规模为 0.5B,适合在各类设备上进行端侧部署,能够实现流式文本输入,并在约 300 毫秒内生成首段可听语音。
01核心参数与性能
VibeVoice-Realtime-0.5B 基于 Transformer 架构,以 Qwen2.5-0.5B 作为语言模型核心。其声学标记器采用 σ-VAE 变体,编码器与解码器对称设计,可将 24kHz 音频压缩 3200 倍;扩散头包含四层结构,参数约 40M,利用去噪扩散概率模型生成语音。模型上下文长度达到 8192 令牌。
测试集词错误率 (CER)说话人相似度
LibriSpeech (零样本 TTS)2.00%0.695
SEED2.05%0.633

模型在主流测试集上的性能表现

在性能表现上,该模型在 LibriSpeech 测试集的零样本 TTS 任务中,说话人相似度优于 VALL-E 2 和 MELLE 等模型。同时,模型特别擅长长形式语音生成,能够持续合成约 10 分钟的音频而保持一致性。
02局限性与获取
  • 语言限制
    目前仅支持单说话人英语,训练数据为英语,处理德语或法语等其它语言时输出可能不清晰。
  • 内容处理
    不处理音乐或背景噪音,不支持重叠语音或特殊符号。
  • 潜在偏差
    基于 Qwen2.5 基础,可能产生偏差或不准确内容。
  • 使用性质
    定位为研究模型,不建议直接商用,需要进一步测试。
  • 1VibeVoice-Realtime-0.5B
  • 2VibeVoice-Realtime-1.5B
用户可通过 Hugging Face 下载该模型,或在 GitHub 查看代码。此外,微软还推出了另一款名为 VibeVoice-Realtime-1.5B 的版本,支持包括中文在内的多语言,但参数规模更大。

评论

评论区空态插画

当前文章无评论,是时候发表评论了