什么值得买App下载 App ›
连续签到专享现金活动

语音识别新王者!Cohere Transcribe 登顶开源榜首,准确率碾压 Whisper!

Cohere 发布了新的开源语音识别模型 Cohere Transcribe,并在 Open ASR Leaderboard 上以 5.42% 的平均词错误率(WER)位列第一。该模型在多项测试集上表现优于此前流行的 Whisper 模型,具备较高的转录速度与多语言支持能力。
01核心性能表现
Cohere Transcribe 在 8 个英语测试集上进行了验证。在 LibriSpeech Clean 测试集中,其错误率为 1.25%,而 Whisper 为 2.01%;在 AMI 多人会议场景中,Cohere 的错误率为 8.15%,约为 Whisper(15.95%)的一半。此外,专业标注员的人类评测显示,该模型对比其他方案的平均胜率达到 61%。
测试场景Cohere Transcribe WERWhisper Large v3 WER
LibriSpeech Clean1.25%2.01%
LibriSpeech Other2.37%3.91%
AMI 多人会议8.15%15.95%

关键测试集词错误率对比

02模型架构与效率
该模型采用 Fast-Conformer 编码器配合轻量级解码器,其中 90% 的参数被分配给编码器用于特征理解,解码器仅负责输出。这种架构设计使得模型推理速度极快,达到了 525 倍实时速度(RTFx),处理 1 小时音频仅需约 7 秒。
训练数据方面,模型使用了 50 万小时的精选音频,配备了 16K 多语言分词器,并引入了信噪比 0 到 30 分贝的噪声增强,旨在提升真实嘈杂环境下的鲁棒性。
03多语言与生态支持
模型支持包括英语、中文、日语、韩语、法语、阿拉伯语在内的 14 种语言。在除英语外的 13 种语言测试中,其表现达到或超越了当前最佳的开源模型。
部署方面,该模型已获得 Transformers 原生支持,加载模型并输出文字仅需三行代码。生产环境可使用 vLLM 启动服务。生态覆盖 Python、Rust、浏览器及 iOS 全平台。
04局限性与总结
  • 不支持自动语言检测
  • 不支持时间戳输出
  • 不支持说话人分离
  • 对静音片段较为敏感
尽管存在上述局限,Cohere Transcribe 凭借 Apache 2.0 开源协议、核心转录能力及推理效率,已成为当前开源语音识别领域的有力竞争者。

评论

评论区空态插画

当前文章无评论,是时候发表评论了