张大妈

炸裂!HeartMuLa发布,音乐生成开源新SOTA

源自小红薯:0xf

01-24 20:36

音乐生成领域迎来重磅开源模型HeartMuLa,它以全栈模型家族的形式,在多项硬指标上超越Suno等闭源巨头。这不仅是一次技术突破,更将精准的创作控制权交还给用户,为AI音乐创作带来了全新的可能性。

炸裂!HeartMuLa发布,音乐生成开源新SOTA智能速览

  • HeartMuLa开源,性能全面超越Suno等闭源模型。

  • 歌词清晰度(PER)达0.09,表现优于Suno-v5。

  • 支持[Verse]等结构化输入,实现精准编曲控制。

  • 采用12.5Hz黑科技帧率,提升生成效率与音质。

  • 包含生成、编解码、识别等全栈模型家族。

炸裂!HeartMuLa发布,音乐生成开源新SOTA精华内容

HeartMuLa的发布不仅是技术参数的超越,更代表着音乐创作控制权的一次重要转移,让“抽卡式”生成成为过去。

性能对标Suno

在客观评测中,HeartMuLa展现了全面领先的技术实力。它不仅超越了Yue、DiffRhythm等现有开源模型,更直接对标Suno-v4.5等强大的闭源模型。尤其在歌词清晰度(PER)这一关键指标上,HeartMuLa取得了0.09的超低错误率,显著优于Suno-v5的0.13,解决了AI音乐普遍存在的咬字含糊问题。

结构化控制力

告别听天由命的生成模式,HeartMuLa引入了极致的结构化控制功能。创作者可以通过[Verse]、[Chorus]等标签精确指定歌曲结构,实现从主歌到副歌的无缝衔接。同时,它还支持参考音频结合文本风格描述的多模态输入,能够精准控制歌曲的情感起伏与节奏变化,让创作意图得到完美呈现。

12.5Hz帧率革新

为实现更高的效率和更优的质量,HeartMuLa采用了12.5Hz的“黑科技”帧率。相比传统25-50Hz的方案,这一大幅压缩显著提升了LLM的生成效率和长序列建模能力。配合自研的HeartCodec神经音频编解码器,即使在低帧率下也能保证SOTA级别的高保真音质,兼顾了性能与效果。

全家桶生态

HeartMuLa并非单一模型,而是一个完整的开源基础模型家族。全家桶包括核心生成模型HeartMuLa(支持6分钟长文本)、12.5Hz高保真编解码器HeartCodec、歌词识别模型Heart Transcriptor(精度超越Whisper)以及提升检索精度的对齐模型HeartCLAP。该生态全面支持中、英、日、韩、西五种语言,为全球化创作提供了坚实基础。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章