开源AI音乐生成模型：YuE，支持多语言、多风格、多专业级声乐！

音乐创作往往是灵感和技巧的结合，然而，创作一首完整的歌曲却需要大量的时间和专业知识。特别是如果你想要一首不只是简单的伴奏，而是拥有完整结构、丰富演唱表现和不同音乐风格的歌曲，这无疑是一个巨大的挑战。

此前有一些闭源的音乐模型已经取得了很好的效果，比如：Suno、udio、海绵音乐等等。

但在除夕前后有一款开源的音乐模型： YuE，突然就爆火起来了！

图片

借助它可以生成长达5分钟的，包含人声和伴奏的高质量、完整音乐。

不仅支持多种语言，还能涵盖从流行到金属等各种风格，甚至带有独特的声乐表现。

项目简介

YuE 是一款基于 AI 技术的开源音乐生成模型，它能够从用户提供的歌词生成完整的歌曲。

YuE 不仅仅是生成旋律或伴奏，它能够在同一作品中结合人声与伴奏，提供完整的音乐结构。这意味着，你可以从一段歌词开始，得到一首高质量、具有完整曲式的音乐作品。

无论是前奏、主歌，还是合唱、桥段，YuE 都能精确生成。

当然它最大亮点是其多模态的能力，它不仅支持跨语言生成，还能在多种音乐风格中进行创作。

无论你喜欢金属、爵士，还是流行，甚至是混合语言的嘻哈风格，YuE 都能根据输入的歌词进行自动生成。

目前，YuE 自开源以来，收获了1.1k+ star，吸引了大量开发者和音乐创作者的关注。

图片

特色功能

1、歌词到音乐的无缝转化

YuE 的核心功能是将给定的歌词转化为一首完整的音乐。

这意味着，用户只需提供歌词，YuE就能自动生成歌声与伴奏。

生成的歌曲不仅有歌词内容，还有与之契合的音乐元素，如和弦、节奏和旋律，确保歌曲完整且富有表现力。

2、多语言支持

YuE 支持多种语言生成，包括英语、中文、日语和韩语，甚至能够处理不同语言之间的混合。

例如，你可以创作一首中英混合的嘻哈歌曲，这也是大多数音乐的创作形式。

3、多种音乐风格生成

无论你喜欢哪种音乐风格，YuE 都能够生成与之匹配的歌曲。其支持的风格包括但不限于：

• 金属 (Metal)：激情澎湃，适合表达强烈情感。
• 爵士 (Jazz)：自由、灵活，充满创意。
• 流行 (Pop)：适合大众，轻松愉悦。
• 乡村 (Country)：质朴、自然。
• 抒情 (Ballad)：柔情、深情。
• 另类摇滚 (Alternative Rock)：创新与自由的结合。
• 儿歌 (Children’s Song)：简单、富有童趣。

4、专业级声乐表现

YuE不仅仅是一个简单的“歌声生成器”，它还能够展现专业级的声乐技巧。比如：

• 即兴演唱 (Scatting)：无词旋律的即兴创作，非常适合爵士风格。
• 低吼 (Death Growl)：极限的演唱方式，常见于金属音乐，带有强烈的情感表达。
• 混声 (Mix Voice)：融合胸声和头声的演唱技术，适合多种风格的演绎。

5、大规模参数，强大生成能力

YuE包含了62.2亿个参数，这使得它在音乐创作中能够理解更复杂的音符、旋律和结构，为创作者提供更加精确和高质量的音乐生成。

YuE 能够生成长度达五分钟的完整歌曲，音质上达到专业级别。这对于需要制作长篇音乐作品的用户来说，YuE 是一个非常强大的工具。

快速使用

YuE 对于硬件要求比较高：24GB 或以下内存的 GPU：最多可同时运行 2 个会话。对于完整歌曲的生成（多个会话，如 4 个或更多会话），使用至少拥有 80GB 内存的 GPU。

① 创建Python虚拟环境，安装 AI 依赖包

conda create -n yue python=3.8 # Python >=3.8 is recommended. conda activate yue conda install pytorch torchvision torchaudio cudatoolkit=11.8 -c pytorch -c nvidia pip install -r requirements.txt pip install flash-attn --no-build-isolation

② 下载推理代码和分词器

git lfs install git clone https://github.com/multimodal-art-projection/YuE.git cd YuE/inference/ git clone https://huggingface.co/m-a-p/xcodec_mini_infer

③ 运行推理

# This is the CoT mode. cd YuE/inference/ python infer.py --stage1_model m-a-p/YuE-s1-7B-anneal-en-cot --stage2_model m-a-p/YuE-s2-1B-general --genre_txt genre.txt --lyrics_txt lyrics.txt --run_n_segments 2 --stage2_batch_size 4 --output_dir ./output --cuda_idx 0 --max_new_tokens 3000