国产开源TTS杀疯了!30语言+9方言+48kHz,ElevenLabs危险了
VoxCPM2 是 OpenBMB(面壁智能联合清华大学人机语音交互实验室)于2026年4月发布的开源多语言文本转语音(TTS)大模型。该模型基于 MiniCPM-4 基座构建,拥有20亿参数,在超过200万小时的多语种音频数据上训练完成,支持30种全球语言及9种中文方言,原生输出48kHz录音棚级音质,采用 Apache-2.0 开源协议可免费商用。作为 VoxCPM 系列的第二代产品,VoxCPM2 在参数量、音频质量、多语言覆盖、功能丰富度等方面均较初代有显著提升。当前开源 TTS 领域竞争激烈,OmniVoice、ChatTTS、CosyVoice、FishSpeech、Qwen3-TTS 等模型各具特色。本文从技术架构、音质表现、多语言能力、语音克隆功能、性能表现、硬件需求、开源协议等维度,对 VoxCPM2 的核心能力与竞品差异进行结构化呈现,帮助读者了解各模型的技术路线与适用场景。123
01技术架构:无分词器的端到端语音生成
主流开源 TTS 模型(如 Bark、GPT-SoVITS、CosyVoice、Fish Speech)普遍采用离散音频 Tokenizer 架构,需要将音频压缩为离散 Token 再还原,这一过程会引入量化损失,导致生成声音带有机械感、韵律断裂、音色细节丢失等问题。VoxCPM2 的核心创新在于采用 Tokenizer-Free(无分词器)架构,直接在连续音频表征空间进行扩散自回归生成,避免了离散化步骤的信息损耗。
从技术流水线来看,VoxCPM2 采用四层架构设计:LocEnc(局部编码)将文本直接映射为连续语义向量;TSLM(文本-语义语言模型)基于 MiniCPM-4 基座进行语义理解、语调规划与情感决策;RALM(残差声学模型)细化音色、呼吸、齿音等声学特征;LocDiT(局部扩散 Transformer)以扩散机制精修波形输出高保真连续音频。配合 AudioVAE V2 非对称编解码器,输入16kHz参考音频可原生输出48kHz高清波形,内置超分辨率能力无需外部上采样工具。
相比之下,ChatTTS 聚焦于中文日常对话场景的语气词、笑声、停顿处理,在中文韵律自然度上有优势,但音质上限相对受限;FishSpeech 和 CosyVoice 依赖离散 Token 架构,生成质量受量化损失影响;OmniVoice 在克隆相似度上表现突出,但在多语言覆盖和情绪控制方面存在局限。Tokenizer-Free 路线使 VoxCPM2 在声音自然度和多语言零样本能力上具备架构层面的先天优势,但技术路线的差异也意味着不同模型各有侧重场景。4356
从技术流水线来看,VoxCPM2 采用四层架构设计:LocEnc(局部编码)将文本直接映射为连续语义向量;TSLM(文本-语义语言模型)基于 MiniCPM-4 基座进行语义理解、语调规划与情感决策;RALM(残差声学模型)细化音色、呼吸、齿音等声学特征;LocDiT(局部扩散 Transformer)以扩散机制精修波形输出高保真连续音频。配合 AudioVAE V2 非对称编解码器,输入16kHz参考音频可原生输出48kHz高清波形,内置超分辨率能力无需外部上采样工具。
相比之下,ChatTTS 聚焦于中文日常对话场景的语气词、笑声、停顿处理,在中文韵律自然度上有优势,但音质上限相对受限;FishSpeech 和 CosyVoice 依赖离散 Token 架构,生成质量受量化损失影响;OmniVoice 在克隆相似度上表现突出,但在多语言覆盖和情绪控制方面存在局限。Tokenizer-Free 路线使 VoxCPM2 在声音自然度和多语言零样本能力上具备架构层面的先天优势,但技术路线的差异也意味着不同模型各有侧重场景。4356
02音质与多语言能力对比
VoxCPM2 原生输出48kHz采样率音频,是当前开源 TTS 中的最高水准之一。多数开源模型停留在16kHz或24kHz,高频细节缺失导致声音发闷、有数码感。AudioVAE V2 的非对称编解码设计使低质量输入也能获得高质量输出,手机录制的16kHz参考音频经过模型处理后可生成清晰自然的48kHz音频,素材来源的局限性对最终效果影响较小。
在多语言覆盖方面,VoxCPM2 支持30种国际语言,包括中文、英语、日语、韩语、法语、德语、西班牙语、俄语、阿拉伯语、印地语、泰语、越南语等主流语种,以及9种中文方言:四川话、粤语、吴语、东北话、河南话、陕西话、山东话、天津话、闽南话。无需手动指定语言标签,模型可自动识别输入文本的语言并完成合成,混合语种场景下自然流畅。素材显示,粤语和东北话的还原度最高,四川话个别发音略有漂移但整体可用。
在 Seed-TTS-eval 基准测试中,VoxCPM2 中文 CER(字符错误率)低至0.97%,英文 WER(词错误率)1.84%,说话人相似度 SIM 中文达79.5%、英文75.3%。MiniMax-MLS-test 评测中,24种语言中20种相似度排名第一,英文相似度达85.4%,对比 ElevenLabs 的61.3%有明显优势。30种语言平均 CER 仅1.68%,中文和英语尤其突出。CosyVoice 在中文 CER 上为1.38%、Qwen3-TTS 为1.22%,但 VoxCPM2 的优势在于多语言整体表现均衡且方言覆盖完整。7829
在多语言覆盖方面,VoxCPM2 支持30种国际语言,包括中文、英语、日语、韩语、法语、德语、西班牙语、俄语、阿拉伯语、印地语、泰语、越南语等主流语种,以及9种中文方言:四川话、粤语、吴语、东北话、河南话、陕西话、山东话、天津话、闽南话。无需手动指定语言标签,模型可自动识别输入文本的语言并完成合成,混合语种场景下自然流畅。素材显示,粤语和东北话的还原度最高,四川话个别发音略有漂移但整体可用。
在 Seed-TTS-eval 基准测试中,VoxCPM2 中文 CER(字符错误率)低至0.97%,英文 WER(词错误率)1.84%,说话人相似度 SIM 中文达79.5%、英文75.3%。MiniMax-MLS-test 评测中,24种语言中20种相似度排名第一,英文相似度达85.4%,对比 ElevenLabs 的61.3%有明显优势。30种语言平均 CER 仅1.68%,中文和英语尤其突出。CosyVoice 在中文 CER 上为1.38%、Qwen3-TTS 为1.22%,但 VoxCPM2 的优势在于多语言整体表现均衡且方言覆盖完整。7829
| 维度 | VoxCPM2 | CosyVoice | FishAudio S2 | Qwen3-TTS | OmniVoice |
|---|---|---|---|---|---|
| 参数量 | 2B | 1.5B / 0.5B | 4B | 1.7B | 未公开 |
| 输出采样率 | 48kHz | 24kHz | 24kHz | 24kHz | 未公开 |
| 语言覆盖 | 30种语言+9方言 | 中文、英文为主 | 多语言 | 中文、英文 | 多语言 |
| 中文 CER | 0.97% | 1.38% | 0.54% | 1.22% | 0.84% |
| 英文 WER | 1.84% | 3.09% | 0.99% | 1.23% | 未公开 |
| 中文相似度 | 79.5% | 75.7% | 未公开 | 77.0% | 未公开 |
| 架构路线 | Tokenizer-Free扩散自回归 | 离散Token | 离散Token | 离散Token | 离散Token |
03声音克隆与 Voice Design 功能解析
VoxCPM2 提供三种递进式语音克隆模式,满足从快速复刻到极致保真的不同需求。可控克隆(Controllable Cloning)只需上传5-30秒参考音频即可提取音色特征,同时支持通过文本指令叠加调节情绪、语速、语调等表达风格,在保留原始音色的同时灵活改变说话方式,这一组合能力在同类开源模型中独树一帜。终极克隆(Ultimate Cloning)同时输入参考音频及对应文字转录,模型可沿用原说话人的气息节奏、咬字习惯、口癖细节进行无缝续写,达到接近1:1的还原度,适合数字人配音、影视后期、有声书制作等对相似度要求极高的场景。
Voice Design(声音设计)功能允许用户完全不使用任何参考音频,仅通过自然语言描述即可凭空生成全新音色。支持描述的维度包括性别、年龄、语调、情感、语速、职业声线等,模型根据文字指令从零构建符合描述特征的声音。这一功能在开源 TTS 领域几乎属于空白地带,ElevenLabs 等商业闭源方案虽有类似能力但不开源,FishSpeech 等开源方案主要聚焦于克隆而非凭空创造。用户反馈显示,该功能生成的音色在指令遵循度上表现良好,中英文描述均可支持。
在克隆相似度方面,素材显示 VoxCPM2 的克隆效果已接近真人水平,“普通人基本听不出区别”。但也有测评指出,OmniVoice 在所有实测模型中克隆效果最为出色,是唯一能完美处理波兰语的模型,不过其语调较为平淡,缺乏情绪起伏。VoxCPM2 则在克隆基础上叠加了情绪控制能力,“解决了老式克隆只能固定语调的痛点”。两种路线各有适用场景:追求极致相似度可选 OmniVoice,追求克隆+灵活表达可选 VoxCPM2。1011612
Voice Design(声音设计)功能允许用户完全不使用任何参考音频,仅通过自然语言描述即可凭空生成全新音色。支持描述的维度包括性别、年龄、语调、情感、语速、职业声线等,模型根据文字指令从零构建符合描述特征的声音。这一功能在开源 TTS 领域几乎属于空白地带,ElevenLabs 等商业闭源方案虽有类似能力但不开源,FishSpeech 等开源方案主要聚焦于克隆而非凭空创造。用户反馈显示,该功能生成的音色在指令遵循度上表现良好,中英文描述均可支持。
在克隆相似度方面,素材显示 VoxCPM2 的克隆效果已接近真人水平,“普通人基本听不出区别”。但也有测评指出,OmniVoice 在所有实测模型中克隆效果最为出色,是唯一能完美处理波兰语的模型,不过其语调较为平淡,缺乏情绪起伏。VoxCPM2 则在克隆基础上叠加了情绪控制能力,“解决了老式克隆只能固定语调的痛点”。两种路线各有适用场景:追求极致相似度可选 OmniVoice,追求克隆+灵活表达可选 VoxCPM2。1011612
克隆能力对比
VoxCPM2:克隆+情绪控制组合
支持克隆同时叠加情绪、语速、语调指令
Voice Design 可凭空生成全新声音
终极克隆提供参考音频+文本的续写能力
30种语言+9方言克隆均支持
素材观点:"解决了老式克隆只能固定语调的痛点"


OmniVoice:极致相似度
实测克隆相似度最佳,是唯一完美处理波兰语的模型
中文 WER 仅0.84%,多语言超越 ElevenLabs v2
合成速度极快,RTF 低至0.025
语调平淡缺乏情绪起伏
素材观点:"克隆效果过于平淡,基本上始终使用与参考音频几乎相同的语调"
04性能表现与硬件配置需求
VoxCPM2 的推理性能以 RTF(实时因子,Real-Time Factor)衡量,RTF 越低表示生成速度越快。官方数据显示,在 NVIDIA RTX 4090 上,标准 PyTorch 推理 RTF 约为0.3,即生成1秒音频需要约0.3秒计算时间;使用 Nano-VLLM 加速后 RTF 可降至0.13,几乎感觉不到延迟,可满足实时语音交互、语音助手、直播数字人等场景需求。
在消费级显卡上的实际表现如何?有用户实测 RTX 5060ti(16GB 显存)生成5秒语音约需3-5秒,显存占用约8.5GB;RTX 4060(8GB 显存)同样可以流畅运行,官方标注的最低显存需求恰好为8GB。部分素材提到中低档显卡(如 RTX 4060、5060)RTF 普遍在1.5-2.0之间,未能达到 RTX 4090 的极致性能。对于使用 Apple Silicon 的用户,M5 Pro(48GB 统一内存)实测首次加载后内存占用稳定在3GB左右,运行较为从容,但首次启动因编译优化可能需要1-3分钟。
量化版本可进一步降低硬件门槛。FP8 量化版仅需约2GB 显存即可运行,BF16 全精度版需约4GB,无独立显卡的设备也可使用 CPU 推理但速度会有所下降。CPU 推理方案包括 effCPM-CPP 轻量化实现,Apple Silicon 可通过 Metal 加速。需要注意的是,RTX 4090 的官方 RTF 0.3 是在该显卡特定算力下的数据,实际体验取决于用户自身硬件配置。13101415
在消费级显卡上的实际表现如何?有用户实测 RTX 5060ti(16GB 显存)生成5秒语音约需3-5秒,显存占用约8.5GB;RTX 4060(8GB 显存)同样可以流畅运行,官方标注的最低显存需求恰好为8GB。部分素材提到中低档显卡(如 RTX 4060、5060)RTF 普遍在1.5-2.0之间,未能达到 RTX 4090 的极致性能。对于使用 Apple Silicon 的用户,M5 Pro(48GB 统一内存)实测首次加载后内存占用稳定在3GB左右,运行较为从容,但首次启动因编译优化可能需要1-3分钟。
量化版本可进一步降低硬件门槛。FP8 量化版仅需约2GB 显存即可运行,BF16 全精度版需约4GB,无独立显卡的设备也可使用 CPU 推理但速度会有所下降。CPU 推理方案包括 effCPM-CPP 轻量化实现,Apple Silicon 可通过 Metal 加速。需要注意的是,RTX 4090 的官方 RTF 0.3 是在该显卡特定算力下的数据,实际体验取决于用户自身硬件配置。13101415
05开源协议与部署灵活性
VoxCPM2 采用 Apache-2.0 开源协议,代码与权重完全开源,支持免费商用,个人研究与商业项目均无使用限制。相比 ElevenLabs 等云端商业 API 按字符计费的收费模式,VoxCPM2 在大规模使用时没有边际成本。
部署方式灵活是该模型的另一特点。支持本地部署(Python SDK 直接运行)、云端部署、Docker 容器化,以及 Nano-vLLM / vLLM-Omni 高并发 API 服务。对于有离线需求的场景,本地部署可确保音频数据不出设备,满足隐私保护要求,弥补了 ElevenLabs 等云端方案必须联网的短板。社区层面已有 ComfyUI 插件、ONNX 移植、Rust 绑定等生态工具,ComfyUI 工作流可实现多音色对话语音合成流程。
从工程成熟度来看,VoxCPM2 被部分用户评价为“目前开源 TTS 中工程成熟度最高的方案之一”。安装流程相对简化,pip install voxcpm 即可完成依赖安装,模型权重首次运行时自动下载(大约4.96GB)。对于不熟悉代码配置的用户,有第三方开发者制作了一键离线整合包。不过在 Apple Silicon 或特定 CUDA 环境下仍存在一些配置细节需要注意,例如默认 PyPI 源在国内下载速度较慢需要切换清华源、首次运行可能需要设置 HF_HUB_OFFLINE=1 环境变量等。1631710
部署方式灵活是该模型的另一特点。支持本地部署(Python SDK 直接运行)、云端部署、Docker 容器化,以及 Nano-vLLM / vLLM-Omni 高并发 API 服务。对于有离线需求的场景,本地部署可确保音频数据不出设备,满足隐私保护要求,弥补了 ElevenLabs 等云端方案必须联网的短板。社区层面已有 ComfyUI 插件、ONNX 移植、Rust 绑定等生态工具,ComfyUI 工作流可实现多音色对话语音合成流程。
从工程成熟度来看,VoxCPM2 被部分用户评价为“目前开源 TTS 中工程成熟度最高的方案之一”。安装流程相对简化,pip install voxcpm 即可完成依赖安装,模型权重首次运行时自动下载(大约4.96GB)。对于不熟悉代码配置的用户,有第三方开发者制作了一键离线整合包。不过在 Apple Silicon 或特定 CUDA 环境下仍存在一些配置细节需要注意,例如默认 PyPI 源在国内下载速度较慢需要切换清华源、首次运行可能需要设置 HF_HUB_OFFLINE=1 环境变量等。1631710
06综合对比与各模型适用场景
综合各素材信息,不同开源 TTS 模型的技术路线与功能侧重存在明显差异,适合的应用场景也有所不同。VoxCPM2 的核心优势在于多语言覆盖完整(30种语言+9方言)、Tokenizer-Free 架构带来的自然音质、Voice Design 凭空造声能力,以及克隆+情绪控制的组合功能,Apache-2.0 协议对商业使用友好。对于需要覆盖多种语言的内容出海、多方言配音、隐私敏感场景(本地部署)、以及需要灵活控制语音情绪表达的应用,VoxCPM2 具有较强的针对性优势。
OmniVoice 在克隆相似度和合成速度方面表现突出,RTF 低至0.025 的极致性能使其在需要高并发实时交互的场景下具备优势,适合对相似度要求极高且不特别需要情绪控制能力的应用。CosyVoice 在部分中文指标上表现稳定,适合对单语种中文合成质量有极致追求且不需要多语言覆盖的场景。ChatTTS 在中文对话自然度、语气词处理方面有专长,侧重于日常对话场景。
需要指出的是,不同素材对同一模型的评价并非完全一致。例如,部分素材称 VoxCPM2 “语音克隆效果接近顶尖水平”,也有素材认为 OmniVoice 的克隆效果最优;部分测评认为 VoxCPM2 的四川话方言“整体可用”,也有测评指出“个别发音略有漂移”。模型实际表现可能因输入素材质量、具体参数配置、使用场景不同而存在差异。用户在选择时应结合自身的核心需求和硬件条件进行判断。6918
OmniVoice 在克隆相似度和合成速度方面表现突出,RTF 低至0.025 的极致性能使其在需要高并发实时交互的场景下具备优势,适合对相似度要求极高且不特别需要情绪控制能力的应用。CosyVoice 在部分中文指标上表现稳定,适合对单语种中文合成质量有极致追求且不需要多语言覆盖的场景。ChatTTS 在中文对话自然度、语气词处理方面有专长,侧重于日常对话场景。
需要指出的是,不同素材对同一模型的评价并非完全一致。例如,部分素材称 VoxCPM2 “语音克隆效果接近顶尖水平”,也有素材认为 OmniVoice 的克隆效果最优;部分测评认为 VoxCPM2 的四川话方言“整体可用”,也有测评指出“个别发音略有漂移”。模型实际表现可能因输入素材质量、具体参数配置、使用场景不同而存在差异。用户在选择时应结合自身的核心需求和硬件条件进行判断。6918
以下维度可供读者在选择时参考:语言需求(是否需要多语言或方言覆盖)、音质要求(48kHz 对比 24kHz 的实际影响)、克隆能力(相似度优先还是克隆+情绪控制)、硬件配置(是否有 RTX 4090 级别显卡)、部署方式(本地离线还是云端可接受)、商业授权(是否涉及商业盈利)。各模型在当前开源 TTS 生态中各有所长,VoxCPM2 在多语言覆盖、Tokenizer-Free 架构与开源可商用三者的结合上填补了市场空白,为需要多语言配音、本地部署、灵活情绪控制的开发者与内容创作者提供了新的选择。
全网评论精华来自全网296条真实评论总结
观点1
求整合包资源理由:大量用户通过私信、评论区请求获取VoxCPM2相关整合包,部分用户已三连、投币等支持后仍求资源
占比35%
观点2
硬件适配问题多理由:用户反馈存在显卡(如50系、A卡、核显)不兼容、CUDA版本不匹配、解压报错、启动失败等硬件适配相关问题
占比18%
观点3
语音生成质量待提升理由:用户指出VoxCPM2存在长文本音色失准、有电流噪声、机械感强、方言生成效果差、语速过快无法调节等问题
占比15%
观点4
功能需求待完善理由:用户提出希望增加批量生成、流式输入、多角色配音、自定义情感、音色锁定、支持小语种等功能需求
占比10%
观点5
跨平台版本需求理由:大量用户请求推出Mac版本的整合包,适配不同操作系统使用需求
占比7%
观点6
方言表现突出理由:用户对比主流TTS模型后,认为VoxCPM2在方言理解和生成方面表现远超其他模型
占比5%
当前文章无评论,是时候发表评论了