通义千问团队开源了新一代ASR模型，包含0.6B、1.7B等版本，均支持免费商用。其最大亮点在于高精度的语音识别能力和一个能精准定位每个词语时间戳的模型，为语音编辑等场景提供了强大工具，在性能和效率上表现出色。
智能速览
通义千问3开源三款ASR模型，均支持企业免费商用。
独特的Fall模型可实现字词级精准时间戳对齐。
模型支持52种语言，并包含12种中文方言。
在多项测试中，其语音识别准确率领先业界。
0.6B模型推理速度可达106倍实时，效率表现出色。
精华内容
深入来看，通义千问3 ASR的模型架构与性能表现是其核心竞争力的体现，具体细节值得探究。
架构设计
通义千问3 ASR的模型架构并非简单的端到端方案，而是采用了Audio Encoder与大语言模型（LLM）结合的模式。
具体而言，它先通过一个名为AUT Encoder的声学编码器处理音频，该编码器结构上类似于一个不对称的Encoder-Decoder模型，拥有32层Encoder和8层Decoder。在预训练阶段，通过类似Whisper的方式训练这个结构，完成后保留训练好的Encoder部分。
最后，将这个能够将音频转换为12赫兹向量的Encoder与通义千问3大模型相连，由大模型作为解码器完成最终的语音识别任务。这种设计利用了大语言模型强大的文本生成和理解能力。
时间戳对齐
此次开源最受关注的是那个0.6B的Fall模型，其核心能力是精准的时间戳对齐。
这个模型可以将语音中每一个字或词语对应到音频中的精确时间点，精确到毫秒级别。这项技术对于语音编辑至关重要。例如，在播客录制中，如果出现口误，可以通过这个模型快速定位到错误词语的音频片段，进行精准删除或替换，再结合TTS技术重新生成语音，极大地提升了后期制作的效率。
性能实测
在性能表现上，通义千问3 ASR展示了业界领先的水平。
识别准确率方面，无论是0.6B还是1.7B模型，在公开评测中均超越了众多开源和闭源模型，尤其在处理多语言和中文方言时优势明显。效率方面，0.6B模型的推理速度惊人，在低并发下可达106倍实时速率（RTF），即处理1秒音频仅需约0.009秒。即使在128个并发请求的高负载下，仍能保持15倍实时速率，足以满足实时语音交互或同声翻译等场景的需求。
业界对比
与业界其他主流方案相比，通义千问3 ASR在准确率和多语言支持上优势显著。
以效率著称的Sterling Conformer等模型，采用Transformer-Conformer混合架构和CTC解码，虽然纯效率（RTF）更高，但通常仅支持单一语言。通义千问3 ASR则通过LLM架构，在保持较高效率的同时，实现了52种语言的广泛支持和更高的识别精度，形成了一种更为均衡和全面的解决方案，更适合需要处理多语种复杂场景的企业应用。
通义千问3 ASR的开源，为业界提供了一个高精度、高效率且支持多语言的优秀基座模型，降低了企业应用先进语音技术的门槛。其独特的时间戳对齐功能更是开辟了新的应用可能。未来，围绕这一模型的生态系统将如何发展，值得持续关注。
