什么值得买App下载 App ›
连续签到专享现金活动

阿里语音模型新突破:情绪控制精确到单字,16语言夺冠登顶

阿里千问于7月20日发布语音合成大模型Qwen-Audio-3.0-TTS,让合成语音从"能说话"升级到"会带情绪表达"。新模型支持[gasp]、[giggles]、[angry]等细粒度情绪标签,可将控制精度细化到单字级别。Qwen-Audio-3.0-TTS-Plus同时在全球第三方权威榜单Artificial Analysis语音合成榜单中以Elo评分1237夺冠。12
所谓"情绪表达",是指模型能够模拟叹气、轻笑、愤怒等非语言声音细节,而不仅止于文字朗读。用户可在文本中直接插入[gasp](抽一口气)、[giggles](轻笑)等标记,模型据此在对应位置输出相应的呼吸音或情绪音效。控制粒度从"整段话的情绪"细化到"哪个字后面该倒吸一口气",适用于叙事、游戏配音、影视旁白等需要精确表达的场景。3
  • 语言覆盖:16种语言:新增阿拉伯语、越南语、马来语及菲律宾语1
  • 方言支持:20种中文方言:涵盖广东、重庆、东北、陕西、上海、四川、云南等
  • 响应速度:Flash版本首包延时300ms级别,反应速度快到几乎感觉不到停顿4
  • 音频质量:采样率从24kHz提升至48kHz,单次合成最长3分钟3
  • 评测成绩:CV3-Eval基准测试:10种语言词/字错误率最优,Plus版本说话人相似度全部16项第一
模型提供Flash与Plus两个版本。Flash版首包延时约300毫秒,适合实时语音交互场景;Plus版侧重高质量语音生成,音色更接近真实说话人。对开发者而言,配套音色库将陆续上架指令风格、20种方言、细粒度控制音色及14种以上小语种音色,降低从零调优的成本。对普通用户而言,这意味着有声书朗读开始出现自然的呼吸停顿,智能客服的回复不再是念稿腔调,方言音色让地方化内容创作门槛大幅降低。5
模型通过真实声学仿真训练,在克隆流程中嵌入语音增强能力,即使参考音频存在背景噪音或高混响环境,也能过滤干扰、保留目标音色。这意味着用户无需在专业录音棚环境下录制参考音频,仍可获得清晰的语音克隆效果。6
Qwen-Audio-3.0-TTS目前已在阿里云百炼平台上线,Flash版本与Plus版本均已开放调用。48K高清音频输出功能预计于7月24日正式开放。7

评论

评论区空态插画

当前文章无评论,是时候发表评论了