微软VibeVoice开源:超低帧率分词器实现60分钟音频瞬转,首音延迟300ms
源自44位全网作者
14:07
精选参考来源
1
VibeVoice开源语音AI开启长序列单通处理新时代 微软近日正式开源VibeVoice前沿语音AI家族,包括ASR、TTS及实时流式能力。该项目由微软团队研发,基于连续语音分词器(7.5Hz超低帧率)实现核心创新:无需分块处理即可单次完成60分钟音频转录,同时输出说话人身份、时间戳与精准内容,支持热词定制与50+语言,已集成Hugging Face Transformers库。
VibeVoice-ASR 7B模型保留全局上下文,避免传统切片导致的语义与说话人追踪损失;Realtime 0.5B模型首音延迟仅300ms,可部署于边缘设备。社区已快速基于其构建Vibing语音输入工具,支持macOS/Windows实时交互。
VibeVoice标志着语音AI从碎片化向连续智能的跃进,为会议记录、跨语言协作及多模态应用提供高效开源基础。开发者可即刻访问GitHub仓库探索并微调,加速创新落地。
#VibeVoice #微软 #TTS #macOS
2
VibeVoice:微软推出的长对话文本转语音框架
全部
来源
来源
内容由AI生成
0
0
0评论
当前文章无评论,是时候发表评论了
提示信息
取消
确认
评论举报
已收藏
去我的收藏夹