多模态大模型之音频篇
继图文与视频大模型之后,音频大模型成为多模态领域的又一研究重点。其技术范式与视频大模型高度相似,核心在于通过MLP结构将Audio Encoder的输出映射到大语言模型(LLM)中,并经过多阶段预训练与指令微调。目前,音频大模型主要分为“音频-文本”与“视频-音频-文本”两类,应用场景涵盖ASR(自动语音识别)、音频理解及语音生成等。
01Qwen-Audio系列:架构演进与功能升级
Qwen-Audio系列是通用音频理解的代表性模型,主要包括Qwen-Audio与Qwen2-Audio两个版本。该系列旨在构建统一的大规模音频-语言模型,能够处理语音、自然声音、音乐及歌曲等多种音频信号。
- Qwen-Audio
设计多场景音频-语言模型,支持广泛的音频理解任务。 - Qwen2-Audio
在V1基础上增加预训练数据,引入DAO微调技术,并升级了Audio Encoder和LLM基础模型,性能得到进一步增强。
02Audio Flamingo 3:全流程开源与五阶段训练
Audio Flamingo 3在Qwen-Audio架构的基础上,增加了语音生成模块,实现了从文本输入到音频输出的闭环能力。该模型的一大特色在于其透明度高,不仅公开了五个阶段的训练流程及对应的开源数据,还详细介绍了复杂多样化指令数据的制作过程。
在技术实现上,Audio Flamingo 3选用Whisper large-v3作为Audio Encoder,并利用audio-caption数据配合Decoder进行Next-Token Prediction训练。其开源的数据细节为研究数据配比与质量对模型性能的影响提供了重要参考。
03Qwen-Omni系列:全模态融合与MoE架构
Qwen-Omni系列(如Qwen2.5 Omni、Qwen3 Omni)致力于视频、音频与文本的深度融合。该系列在Qwen2.5的基础上进一步升级了LLM与Audio Encoder,并采用了MoE(混合专家)模型架构,大幅增加了训练数据量。然而,与Audio Flamingo 3不同,Qwen-Omni系列未公开具体的训练数据细节与数据集来源。
04技术范式总结
通过对现有音频大模型的研究分析,该领域已形成一套标准化的技术“套路”。这一范式主要得益于Whisper模型在音频特征提取方面的强大能力,其地位类似于视觉领域的CLIP/ViT。
- 特征提取与映射
选取Whisper-v3 large作为音频特征提取器,通过两层MLP作为Adaptor,将提取的音频特征映射并送入大模型。 - 数据制作流程
核心在于获取音频-文本Pair数据。主要方式包括:使用ASR大模型进行转录、利用TTS将文本转为音频、使用音频大模型生成Caption(区别于ASR)。 - 训练策略
基于Pair数据进行多阶段预训练与指令微调,并可参考Video-Caption相关方法,利用GPT等模型发散生成更多样化的问答数据。
| 模型系列 | 主要特点 | 数据开源情况 |
|---|---|---|
| Qwen-Audio | 多场景音频理解,升级了Encoder与LLM | 未公开具体训练数据细节 |
| Audio Flamingo 3 | 增加语音生成模块,五阶段训练流程 | 全流程开源,含训练数据与制作方法 |
| Qwen-Omni | 视频-音频-文本融合,采用MoE架构 | 未公开具体训练数据细节 |
主流音频大模型特性对比
当前文章无评论,是时候发表评论了