张大妈

新年伊始,我vibe code了一个能让任何人帮我朗读有声书的APP(附下载链接)

源自公众号:数字游民部落

01-18 20:50

听有声书时,朗读者声音不合口味是常事。为了解决这个痛点,一款名为ClonEpub的工具应运而生。它利用AI声音克隆技术,允许用户用任何喜欢的声音(如家人、朋友、偶像)来朗读英文电子书,生成个性化的M4B格式有声书文件。这为听书体验带来了全新的可能性,让每个人都能拥有专属的“播音员”。

新年伊始,我vibe code了一个能让任何人帮我朗读有声书的APP(附下载链接)智能速览

  • 为解决有声书朗读者不合口味的痛点,开发者着手打造了一款个性化工具。

  • 该工具ClonEpub能利用AI克隆任意声音,将英文EPUB电子书转为有声书。

  • 开发过程经历了从模型替换到UI重构和算力优化的多重挑战。

  • 最终选用Pocket TTS模型,实现了在低配设备上流畅运行。

  • 在M1 Mac上生成一本《Animal Farm》有声书约需100分钟。

新年伊始,我vibe code了一个能让任何人帮我朗读有声书的APP(附下载链接)精华内容

这个想法源于对现有工具的不满,通过一步步的探索与改造,最终将一个开源项目打造成了完全属于自己的、可解决实际问题的应用,其间的技术选型与权衡充满思考。

缘起:为何要自研

听有声书时,朗读者是影响体验的关键因素。但现有的AI有声书生成工具存在诸多局限,例如依赖特定显卡、缺乏图形化界面,或是无法处理电子书格式导致朗读目录等无效信息。这些痛点催生了开发一款更友好、更强大工具的想法。目标很明确:创造一个能让用户用任何喜欢声音来朗读有声书的APP。

探索:技术迭代的路

最初选择了开源项目audiblez作为基础,它集成了Kokoro模型和图形化界面。但其不支持声音克隆,于是在丐版M1上将其替换为支持Apple Silicon优化的Chatterbox Turbo模型。然而,初版问题随之而来:wxPython界面老旧难改,且生成过程会占满电脑资源,导致系统几乎无法使用,只能在夜间运行。

蜕变:从内到外革新

为解决交互和性能问题,项目经历了大刀阔斧的重构。界面方面,放弃wxPython,改用更现代、对新手更友好的Electron框架。算力方面,则得益于Kyutai团队开源的Pocket TTS模型。这个仅100M参数的小模型,声音克隆效果出色,且完全依赖CPU运行,极大降低了对硬件的占用。至此,项目已与原版audiblez大相径庭,遂命名为ClonEpub。

成果:ClonEpub的体验

ClonEpub的工作流非常简洁:用户上传英文EPUB格式电子书,再提供一段10-30秒的声音样本,即可开始生成。最终输出为带封面和章节的M4B有声书文件。根据测试,在一台丐版M1 MacBook Air上,生成一本《Animal Farm》有声书大约需要100分钟。期间电脑仍可进行轻度操作,体验远超初版。目前该工具已发布测试版,但暂仅支持Mac Apple Silicon和英文文本。

ClonEpub展示了个人开发者如何利用前沿AI技术解决实际需求。它不仅是技术栈的整合,更是对个性化体验的追求。随着AI语音技术的持续进步,支持多语种、更高效率的模型必将出现。你是否也曾因声音问题放弃过一本好书?个性化朗读会是未来的趋势吗?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章