开源音乐生成模型HeartMULA的出现,让高品质音乐创作的门槛大幅降低。它不仅在效果上比肩商业模型SUNO V5,更通过社区优化,将本地运行显存需求降至12GB,让更多普通玩家也能体验AI写歌的乐趣。本文将深入探讨其功能特性与本地部署方案。
智能速览
HeartMULA作为开源模型,其音乐生成能力接近SUNO V5。
社区优化后,本地运行最低仅需12GB显存。
支持分段式歌词输入与音乐风格自定义生成。
集成Whisper模型,可精准提取音频中的歌词。
本地生成1分钟音频约需2分钟,云端效率更高。
精华内容
面对高昂的算力成本,开源社区是如何将SOTA级音乐模型门槛降至普通玩家可及的范围?HeartMULA的优化之路给出了答案。
性能对标SUNO
根据项目页面对比数据,HeartMULA 3B版本的音乐生成能力已非常接近SUNO V5,甚至在某些方面表现更优。
实际体验中,其生成音乐的旋律与和声质量确实达到了较高水准。
考虑到其7B版本尚未开源,未来潜力值得期待,很可能实现对SUNO的全面超越。
12GB显存优化
初版ComfyUI节点因未做显存优化,需24GB显存才能运行,限制了其普及。
原作者与社区开发者通过拆分模型加载管线,并加入显存管理策略,成功将最低显存需求降至12GB。
其`low_vram`选项采用动态加载机制,仅在计算时将模型载入显存,空闲时卸载至内存,有效控制了峰值占用。
本地写歌与提取
其音乐生成节点支持SUNO格式的分段式歌词输入,用户可定义intro、verse等段落及音乐风格。
生成参数如音频长度、温度、CFG等均可调节,实现对生成过程的精细控制。
此外,集成的歌词提取节点本质为Whisper模型,支持自定义参数以应对长静音、低音量等复杂音频场景,提升识别准确率。
云端体验与效率
在RunningHub等云平台,已部署全自动写歌工作流,用户输入主题与风格即可快速生成歌曲。
实测生成一首3分钟的音乐,云端单次耗时约2分钟,效率甚至低于歌曲本身时长。
该方案无需会员即可生成无水印音乐,为无本地设备的用户提供了便捷的体验途径。
HeartMULA的诞生与优化,是开源力量推动AIGC平民化的又一例证。它降低了高阶音乐生成的技术壁垒,让创意不再受限于硬件。未来,随着7B模型的发布和社区工具的完善,开源音乐创作生态将迎来怎样的变革?