给NAS找了份配音的活:TXT变有声书,声线、音色都能自己挑
想做这个的原因是之前熊猫写过一篇AI小说,发布到番茄赚了有个几百元,钱是已经花完了,然后写了篇教程结果小说名字忘了打码就被下架了。于是想着既然AI写小说能赚钱,那说明我的小说还是有观众,那把小说转成有声书赚第二笔钱能行吗?
这个项目从立项到更新到1.2.0,一共历经了四个月多,熊猫觉得可以拿出来和大家聊聊了。
预览图项目叫Soundleaf,中文名“声页”,导入TXT或未加密的EPUB,整理章节、给人物安排声音,就能制作有声书。还可以用自己的录音创建克隆音色,设置声线、音色甚至复刻说话的感情等等。
下面直接说怎么部署。
Docker部署
准备一台支持Docker Compose的NAS或Linux服务器,熊猫这里直接用了极空间的Z425轻享版,毕竟后面涉及到本地CPU的音色合成,Z425轻享版的125H能让这个生成过程更快一些,不过即便没有CPU,你也可以用云端的API来执行,这不是必选项。
镜像支持amd64、arm64,不是必须要显卡。先新建soundleaf文件夹,里面再建data文件夹,然后把下面的配置保存为compose.yaml,放在soundleaf目录下。
services:
soundleaf:
image: ghcr.io/panda-995/soundleaf:latest
ports:
- "8780:8780"
volumes:
- "./data:/data"
user: "1000:1000"
environment:
TZ: Asia/Shanghai
COOKIE_SECURE: "false"
restart: unless-stopped
stop_grace_period: 30s
cap_drop: [ALL]
security_opt: ["no-new-privileges:true"]
如果你也是用极空间设备,那么可以直接打开极空间的Docker,随后新建Cpompose然后复制就行,其中的映射文件夹和端口记得根据自身NAS的环境修改。
极空间部署浏览器访问http://NAS的IP:8780就能访问项目界面了,或者直接用极空间的远程访问,这样更为方便。
image.png默认账号、密码都是admin,首次登录会要求修改。
项目介绍
进入“设置 → 语音服务”,这里可以选择服务类型,支持Minimax模型直接接入,也支持兼容接口,同时也可以选择本地离线引擎。
其中本地离线模型支持Kokoro v1.1 中英 · int8、Kokoro v1.1 中英 · 完整版以及ZipVoice 克隆 · int8 蒸馏,全部下载之后就支持一共103个音色和克隆音色,不过本地模型的速度和你NAS的CPU有关,如果CPU太差,还是建议用云端API。
模型设置AI分析需要单独配置,主要是分析小说段落的情感以及章节,同时也可以用来生成封面,当然,不配也能手动制作,不过细节会差很多。。
AI分析导入小说后,先检查章节。比如部分网站下载的文件,目录会混进正文、前言位置不对,都可以在校对时调整,也支持拆分、合并和排序。AI分章之后你能看到预览,不确认预览没问题就可以直接生成章节分段。
导入分析打开“AI 导演”,配置好AI分析后,能获取朗读建议,或先优化对白分段,再核对采纳,这主要是为了区分音色以及降低单段落的生成时长。
AI优化在音色库中会记录你生成的音色,这样方便整本小说的音色一致性,不至于出现前面主角一个音色,后面又变了音色,你可以设置旁白留一个声音,主要人物各绑定一个,在角色库统一管理。
音色库中文还涉及到人名、多音字读错的问题,这时候你可以在AI导演这里划选词语加入读音词典,某一句不满意,也支持只重生成那个片段,再拼回章节音频,不用整章重新做。
多音字修正情绪效果就主要看引擎了,目前项目是通过AI的语境分析轻微语速变化体现,熊猫也给到了一些调好的预设,例如常用的平静、喜悦、愤怒、娇喘、妩媚等等,目前预制了20中情绪设置,基本上是够用了。
情绪预设生成的音频会有版本管理,同时也有非常多的微调设置,这个就不一一说明了,感兴趣可以自行探索。
音色库熊猫这里用的是Minimax的音色,大家都知道Minimax的视频模型H3很强,但实际上在音频模型上Minimax也不弱的,目前一共有300多种音色,中日韩、英语、葡萄牙语等等语言选择也非常多。
试听界面生成之后在试听界面可以看到,播放会显示当前播放段落,同时也能看到音频波形图,在顶部可以标记问题方便在AI导演台重新生成。
导出试听满意后,可以按章导出MP3、WAV并打包下载,也能选择带章节导航的M4B,放进支持它的播放器里听。
写在最后
声页适合愿意整理电子书、给人物挑声音的朋友。当前还没有配乐混音和多用户协作,不过后续熊猫也会慢慢更新。
项目地址:Panda-995/Soundleaf,如果觉得有用,也欢迎给熊猫点个小星星。
结束图作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~
