ElevenLabs替代来了!这个开源工具把语音克隆+听写+生成全包了
做视频要配音,用过ElevenLabs的人大概都有同感:效果确实好,但每个月几十到几百美元的订阅费,加上声音数据要上传到云端处理,对重视隐私或者预算有限的用户来说始终是根刺。与此同时,WisprFlow这类语音输入工具只解决了“说进去”的问题,“读出来”还得另找工具。两个服务来回切,中间还得手动复制粘贴。Voicebox的出现就是想把这位朋友在GitHub上看到它时花了10分钟装完,然后就意识到这玩意儿把语音输入和输出做成本地一体化了——免费、开源、数据不出本机。它是ElevenLabs和WisprFlow的开源替代方案,而且把两件事一起干了。1
Voicebox是什么?一个本地运行的语音工作室
Voicebox定位是“本地优先的AI语音工作室”,不是单纯的TTS工具。它由独立开发者Jamie Pine打造,基于Tauri框架用Rust编写,区别于Electron应用,体积小、内存占用低、启动快。当前最新稳定版本为v0.5.0,GitHub星标已突破32000。桌面端支持macOS、Windows、Linux,也可以通过Docker部署。所有模型和语音数据都在本地运行,不上传任何数据到云端。2
核心功能可以概括为三个入口:Clone(克隆声音)、Dictate(听写)、Create(生成语音)。三个场景共用同一套声音档案,克隆一次之后在任意模块都能调用。系统内置Whisper语音识别模型做全局听写,附带8种音频后期处理效果,多轨时间线编辑器适合制作多角色对话音频,还开放了REST API与MCP服务。支持对接Claude Code、Cursor等主流本地AI代理,让智能工具通过自定义音色语音播报内容。3
七款引擎怎么挑?按需切换是核心玩法
Voicebox不绑定单一TTS模型,而是聚合了7个不同的推理后端,覆盖从极致轻量到旗舰克隆质量的全谱系需求。生成时随时切换,不需要重新安装。这种设计的精妙之处在于场景适配:追求速度用Kokoro,追求多语言用Chatterbox Multilingual,追求中文自然度用Qwen3-TTS。每个引擎都是独立的PyTorch模型,Voicebox用统一接口调用。某个引擎对中文不理想?换一个。太慢?切到轻量引擎。这种灵活性是单一SaaS无法提供的。4
| 引擎 | 语言数 | 核心优势 | 适合场景 |
|---|---|---|---|
| Qwen3-TTS (0.6B/1.7B) | 10 | 高质量多语言克隆,支持“说慢点/耳语”等自然语言指令 | 中文内容创作、播客 |
| Qwen CustomVoice | 10 | 9个预设音色,无需参考音频直接用自然语言控制风格 | 快速原型、品牌声音 |
| LuxTTS | 英文 | ~1GB显存,48kHz输出,CPU上150倍实时 | 低配设备、批量英文生成 |
| Chatterbox Multilingual | 23 | 语言覆盖最广,含阿拉伯语、印地语、斯瓦希里语等 | 多语言国际化内容 |
| Chatterbox Turbo | 英文 | 支持[laugh]、[sigh]等情感标签 | 情感丰富的对话、游戏配音 |
| TADA (HumeAI) | 10 | 700秒以上连贯音频,文本-声学双对齐 | 有声书、长篇播客 |
| Kokoro | 8 | 82M超小参数,50个预设声音,CPU极速推理 | 实时对话、快速生成 |
几个值得单独说清的细节:Qwen3-TTS是阿里巴巴通义千问团队出品,0.6B版本只需3-4GB显存就能跑,1.7B版本推荐5-7GB显存、RTX 3060以上显卡。Chatterbox Turbo是唯一支持副语言标签的引擎,在文本里写[laugh]会真的笑出来,写[sigh]会真的叹气,对播客和有声书创作是杀手级功能。TADA(HumeAI)能生成700秒以上连贯音频,做长篇内容不需要拼接。Kokoro只有82M参数,但有50个精选预设声音,启动速度极快。参考音频建议3-30秒,无背景噪音,声音清晰即可,格式支持MP3、WAV、FLAC。5
和ElevenLabs比,差在哪?怎么选?
| 对比维度 | ElevenLabs | Voicebox |
|---|---|---|
| 部署方式 | 云端SaaS,按订阅收费 | 本地桌面应用,完全免费 |
| 隐私 | 音频上传到云端 | 100%本地处理,数据不出本机 |
| TTS引擎 | 单一专有引擎 | 7个开源引擎可切换 |
| 语言支持 | 70+种 | 23种 |
| 长文本处理 | 有字符限制 | 最长50000字符,自动分块交叉淡入 |
| 多轨编辑 | 无 | DAW式多轨时间线编辑器 |
| API | 付费API | 免费REST API + MCP服务 |
| 硬件需求 | 浏览器即可用 | 需要GPU(4GB+显存) |
ElevenLabs在音质和语言覆盖上仍有优势,特别是在复杂场景下的表现更成熟。Voicebox的优势在于隐私保护、成本控制和引擎多样性——对于不需要极致音质的日常配音、内容创作场景,已经完全够用。ElevenLabs是“花钱买省心”,Voicebox是“花时间(配置环境)省钱”。有NVIDIA 3060以上显卡且对隐私有要求,Voicebox性价比碾压;只是偶尔用用、不想折腾环境,ElevenLabs更合适。技术选型上Voicebox用Tauri而非Electron构建桌面端,后端是Python FastAPI,GPU支持覆盖所有主流平台:macOS用MLX/Metal加速,NVIDIA用CUDA,AMD用ROCm,Intel用IPEX/XPU,Windows通用用DirectML。不挑显卡,一个应用覆盖所有硬件。6
能做什么?三个真实场景的体验
内容创作者用它批量生成视频配音。有声书制作者用Stories编辑器编排多角色对话——每个角色建一个voice profile,在时间线上拖拽排列不同声音,生成完整对话音频。播客多角色录制时,工作量比传统方案低得多。全局听写功能让任意界面实时语音转文字,macOS上按下快捷键说话、松开自动粘贴到当前输入框,不需要切换软件窗口。这解决了文字录入效率问题,告别打字。7
AI开发者用它给Claude Code、Cursor等编程助手赋予声线。助手完成任务后调用voicebox.speak,用克隆声音说出结果。支持多Agent绑定不同声音——Claude用一个声音说话,Cursor用另一个。这让“只会打字”的AI助手真正开口说话。配置MCP服务非常简单:在mcpServers配置项里加一个URL和Client ID头即可,Claude Code、Cursor、Windsurf都原生支持。关于已知的局限:Windows上CUDA需要手动配置;长文本偶有变声或情绪异常的情况;部分小语种覆盖不如ElevenLabs完善。追求极致小语种效果的用户,暂时还绕不开云端方案。8
当前文章无评论,是时候发表评论了