清华大学推出Dolphin语音识别模型！方言识别准确率提升54%！

近年来，自动语音识别（ASR）技术已经进入了一个“百模大战”的时代，尤其是 Whisper 让许多人看到了高质量通用语音识别的可能性。

然而，Whisper 等主流模型在支持多语言的同时，也面临着一个痛点：它们的优化往往偏向英语或西方语言，对于东方语言，特别是复杂的汉语方言和少数民族语言，识别效果并不尽如人意。

最近，清华大学和海天瑞声联手开源的 Dolphin 语音识别模型，给语音识别领域带来了一些不一样的东西。

Dolphin 这款新模型，是专门为东方语言设计的 ASR 模型，不仅支持 40 种东方语言和 22 种汉语方言，更是以轻量级的设计和极高的精准度，在多个维度上直接“碾压”Whisper large v3。

基于超过 2100 万小时的训练数据（包括 740 万小时开源数据），在支持多语言、多方言的同时保持了极高的精度和效率。

Dolphin 的亮点在于轻量化和多功能性。目前开源了两个版本：base 和 small，其中 small 版仅为 Whisper large v3 的 1/4 大小，却在平均字错率（WER）上降低 54.1%。

Mulitask data format

技术背景

目前，许多主流 ASR 模型（如 Whisper）虽然标榜支持多语言，但实际上在东方语言的处理上存在几个明显的问题：汉语方言适配差、语种覆盖不均衡、语音环境复杂。

Dolphin 直接针对这些问题进行了优化，尤其是对汉语方言进行了深度适配，同时支持语音活动检测、音频分割和语言识别。

功能亮点

• 轻量高效：small 版模型大小仅为 Whisper large v3 的 1/4，参数更少，推理更快。
• 超多语言支持：支持 40 种东方语言和 22 种汉语方言，覆盖广泛。
• 多任务能力：支持语音活动检测、音频分割、语言识别等功能。
• 创新架构：采用两级语言标记系统，基于 E-Branchformer 和 Transformer，专为 ASR 任务精调。

快速使用

目前 Dolphin 提供 base 版和 small 版两个基础版本，可以根据需求选择适合的模型。

安装部署 Dolphin 非常简单，开发者可以直接在 Python 环境中使用：

pip install -U dataoceanai-dolphin

但还需要一个主流的音视频处理工具：ffmpeg，以下各系统一键下载安装命令：

# Ubuntu or Debian sudo apt update && sudo apt install ffmpeg # MacOS brew install ffmpeg # Windows choco install ffmpeg

命令行使用方式：

dolphin audio.wav # Download model and specify the model path dolphin audio.wav --model small --model_dir /data/models/dolphin/ # Specify language and region dolphin audio.wav --model small --model_dir /data/models/dolphin/ --lang_sym "zh" --region_sym "CN" # padding speech to 30 seconds dolphin audio.wav --model small --model_dir /data/models/dolphin/ --lang_sym "zh" --region_sym "CN" --padding_speech true

python 代码示例：

import dolphin waveform = dolphin.load_audio("audio.wav") model = dolphin.load_model("small", "/data/models/dolphin", "cuda") result = model(waveform) # Specify language and region result = model(waveform, lang_sym="zh", region_sym="CN") print(result.text)