语音识别新王者!Cohere Transcribe 登顶开源榜首,准确率碾压 Whisper!
Cohere 发布了新的开源语音识别模型 Cohere Transcribe,并在 Open ASR Leaderboard 上以 5.42% 的平均词错误率(WER)位列第一。该模型在多项测试集上表现优于此前流行的 Whisper 模型,具备较高的转录速度与多语言支持能力。
01核心性能表现
Cohere Transcribe 在 8 个英语测试集上进行了验证。在 LibriSpeech Clean 测试集中,其错误率为 1.25%,而 Whisper 为 2.01%;在 AMI 多人会议场景中,Cohere 的错误率为 8.15%,约为 Whisper(15.95%)的一半。此外,专业标注员的人类评测显示,该模型对比其他方案的平均胜率达到 61%。
| 测试场景 | Cohere Transcribe WER | Whisper Large v3 WER |
|---|---|---|
| LibriSpeech Clean | 1.25% | 2.01% |
| LibriSpeech Other | 2.37% | 3.91% |
| AMI 多人会议 | 8.15% | 15.95% |
关键测试集词错误率对比
02模型架构与效率
该模型采用 Fast-Conformer 编码器配合轻量级解码器,其中 90% 的参数被分配给编码器用于特征理解,解码器仅负责输出。这种架构设计使得模型推理速度极快,达到了 525 倍实时速度(RTFx),处理 1 小时音频仅需约 7 秒。
训练数据方面,模型使用了 50 万小时的精选音频,配备了 16K 多语言分词器,并引入了信噪比 0 到 30 分贝的噪声增强,旨在提升真实嘈杂环境下的鲁棒性。
03多语言与生态支持
模型支持包括英语、中文、日语、韩语、法语、阿拉伯语在内的 14 种语言。在除英语外的 13 种语言测试中,其表现达到或超越了当前最佳的开源模型。
部署方面,该模型已获得 Transformers 原生支持,加载模型并输出文字仅需三行代码。生产环境可使用 vLLM 启动服务。生态覆盖 Python、Rust、浏览器及 iOS 全平台。
04局限性与总结
- 不支持自动语言检测
- 不支持时间戳输出
- 不支持说话人分离
- 对静音片段较为敏感
尽管存在上述局限,Cohere Transcribe 凭借 Apache 2.0 开源协议、核心转录能力及推理效率,已成为当前开源语音识别领域的有力竞争者。
当前文章无评论,是时候发表评论了