听有声书时,朗读者声音不合口味是常事。为了解决这个痛点,一款名为ClonEpub的工具应运而生。它利用AI声音克隆技术,允许用户用任何喜欢的声音(如家人、朋友、偶像)来朗读英文电子书,生成个性化的M4B格式有声书文件。这为听书体验带来了全新的可能性,让每个人都能拥有专属的“播音员”。
智能速览
为解决有声书朗读者不合口味的痛点,开发者着手打造了一款个性化工具。
该工具ClonEpub能利用AI克隆任意声音,将英文EPUB电子书转为有声书。
开发过程经历了从模型替换到UI重构和算力优化的多重挑战。
最终选用Pocket TTS模型,实现了在低配设备上流畅运行。
在M1 Mac上生成一本《Animal Farm》有声书约需100分钟。
精华内容
这个想法源于对现有工具的不满,通过一步步的探索与改造,最终将一个开源项目打造成了完全属于自己的、可解决实际问题的应用,其间的技术选型与权衡充满思考。
缘起:为何要自研
听有声书时,朗读者是影响体验的关键因素。但现有的AI有声书生成工具存在诸多局限,例如依赖特定显卡、缺乏图形化界面,或是无法处理电子书格式导致朗读目录等无效信息。这些痛点催生了开发一款更友好、更强大工具的想法。目标很明确:创造一个能让用户用任何喜欢声音来朗读有声书的APP。
探索:技术迭代的路
最初选择了开源项目audiblez作为基础,它集成了Kokoro模型和图形化界面。但其不支持声音克隆,于是在丐版M1上将其替换为支持Apple Silicon优化的Chatterbox Turbo模型。然而,初版问题随之而来:wxPython界面老旧难改,且生成过程会占满电脑资源,导致系统几乎无法使用,只能在夜间运行。
蜕变:从内到外革新
为解决交互和性能问题,项目经历了大刀阔斧的重构。界面方面,放弃wxPython,改用更现代、对新手更友好的Electron框架。算力方面,则得益于Kyutai团队开源的Pocket TTS模型。这个仅100M参数的小模型,声音克隆效果出色,且完全依赖CPU运行,极大降低了对硬件的占用。至此,项目已与原版audiblez大相径庭,遂命名为ClonEpub。
成果:ClonEpub的体验
ClonEpub的工作流非常简洁:用户上传英文EPUB格式电子书,再提供一段10-30秒的声音样本,即可开始生成。最终输出为带封面和章节的M4B有声书文件。根据测试,在一台丐版M1 MacBook Air上,生成一本《Animal Farm》有声书大约需要100分钟。期间电脑仍可进行轻度操作,体验远超初版。目前该工具已发布测试版,但暂仅支持Mac Apple Silicon和英文文本。
ClonEpub展示了个人开发者如何利用前沿AI技术解决实际需求。它不仅是技术栈的整合,更是对个性化体验的追求。随着AI语音技术的持续进步,支持多语种、更高效率的模型必将出现。你是否也曾因声音问题放弃过一本好书?个性化朗读会是未来的趋势吗?