【AIGC实战课 79】SOTA级开源音频模型HeartMULA——本地12G可跑,人送外号小SUNO

源自UP主:Doc_workBox

01-22 13:31

开源音乐生成模型HeartMULA的出现,让高品质音乐创作的门槛大幅降低。它不仅在效果上比肩商业模型SUNO V5,更通过社区优化,将本地运行显存需求降至12GB,让更多普通玩家也能体验AI写歌的乐趣。本文将深入探讨其功能特性与本地部署方案。

【AIGC实战课 79】SOTA级开源音频模型HeartMULA——本地12G可跑,人送外号小SUNO智能速览

  • HeartMULA作为开源模型,其音乐生成能力接近SUNO V5。

  • 社区优化后,本地运行最低仅需12GB显存。

  • 支持分段式歌词输入与音乐风格自定义生成。

  • 集成Whisper模型,可精准提取音频中的歌词。

  • 本地生成1分钟音频约需2分钟,云端效率更高。

【AIGC实战课 79】SOTA级开源音频模型HeartMULA——本地12G可跑,人送外号小SUNO精华内容

面对高昂的算力成本,开源社区是如何将SOTA级音乐模型门槛降至普通玩家可及的范围?HeartMULA的优化之路给出了答案。

性能对标SUNO

根据项目页面对比数据,HeartMULA 3B版本的音乐生成能力已非常接近SUNO V5,甚至在某些方面表现更优。

实际体验中,其生成音乐的旋律与和声质量确实达到了较高水准。

考虑到其7B版本尚未开源,未来潜力值得期待,很可能实现对SUNO的全面超越。

12GB显存优化

初版ComfyUI节点因未做显存优化,需24GB显存才能运行,限制了其普及。

原作者与社区开发者通过拆分模型加载管线,并加入显存管理策略,成功将最低显存需求降至12GB。

其`low_vram`选项采用动态加载机制,仅在计算时将模型载入显存,空闲时卸载至内存,有效控制了峰值占用。

本地写歌与提取

其音乐生成节点支持SUNO格式的分段式歌词输入,用户可定义intro、verse等段落及音乐风格。

生成参数如音频长度、温度、CFG等均可调节,实现对生成过程的精细控制。

此外,集成的歌词提取节点本质为Whisper模型,支持自定义参数以应对长静音、低音量等复杂音频场景,提升识别准确率。

云端体验与效率

在RunningHub等云平台,已部署全自动写歌工作流,用户输入主题与风格即可快速生成歌曲。

实测生成一首3分钟的音乐,云端单次耗时约2分钟,效率甚至低于歌曲本身时长。

该方案无需会员即可生成无水印音乐,为无本地设备的用户提供了便捷的体验途径。

HeartMULA的诞生与优化,是开源力量推动AIGC平民化的又一例证。它降低了高阶音乐生成的技术壁垒,让创意不再受限于硬件。未来,随着7B模型的发布和社区工具的完善,开源音乐创作生态将迎来怎样的变革?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章