Ollama能开口了:64MB离线TTS上线,但克隆音色还得先上云

源自29位全网作者

09:34

你本地跑的大模型,一直是个"哑巴"——你敲字,它敲字,聊得再投机也发不出一点声音。想让它念出来?要么接云端TTS按字符付钱,要么自己搭一套语音环境,劝退九成人。

10月24日,Ollama把这扇门推开了:官方宣布Mac应用正式支持文本转语音(TTS),数据不出本机,Windows和Linux版本随后跟进。首批接入的是法国语音AI公司Gradium开源的Phonon系列——参数小、质量高,在官方ELO质量基准里,31M/40M的体型站上了一群更大型号的前排。IT之家Ollama官方博客

Ollama能开口了:64MB离线TTS上线,但克隆音色还得先上云

开口的是个64MB的"小不点"

别看Phonon参数只有31M/40M,8-bit量化后权重仅约64MB。一部高清电影的零头,却干的是以前动辄几个GB的语音模型干的事。知乎

官方给的成绩单也不含糊:笔记本CPU上生成首段音频最快只要约7ms。接进Ollama之后,在MacBook Pro M5 Max上推理速度比Gradium自家运行时还快35%,跑到了实时速度的113倍,并且支持边生成边播放。翻译一下:本地AI从"想好再说"变成了"张嘴就来",延迟基本摸不到。Gradium官方博客Ollama官方博客

Ollama能开口了:64MB离线TTS上线,但克隆音色还得先上云

快的秘密在架构里:模型每80毫秒边算边吐一段音频帧,解码器实时输出24kHz音频——整条流水线为流式生成设计,不用等全文合成完。Gradium官方博客

Ollama能开口了:64MB离线TTS上线,但克隆音色还得先上云

对开发者更实在的是接口。Ollama这套TTS兼容OpenAI API格式,现有的聊天机器人、语音Agent想加上本地声音,基本不用大动干戈改代码。而且默认的Phonon 31M采用Apache 2.0许可,商用没有障碍。给产品接一个不用按字符交钱的"嘴",这条路通了。知乎Ollama官方博客

三盆冷水,泼完再上手

第一盆:目前只有Apple Silicon的Mac能吃上,需要Ollama 0.40.11及以上版本,Windows和Linux支持还在开发中。抱着4090的Windows用户,这次真只能先看着。知乎小红书

第二盆:"数据不出门"有个例外。想克隆自己或别人的音色?音色提取目前仍依赖Gradium Studio或其API,得先把录音传上去提取、下载音色文件,之后才能本地离线生成。真正的纯离线闭环,暂时只属于用预置音色的场景。知乎

第三盆:许可证分档,还绑着语言。能商用的Apache 2.0只有31M英文版;40M系列(覆盖法、德、西、葡等语言和多语言版)是CC BY-NC 4.0,不能商用。做产品的同学下载前看清型号,别一脚踏坑。小红书

值不值得装?

如果你已经在Mac上用Ollama,这几乎是零成本升级:64MB的模型对显存和硬盘的占用可以忽略不计,本地对话朗读、离线语音助手、给Agent装上嘴,都是现成场景。朗读质量也在线——官方在Seed-TTS英文测试集上测得词错误率只有1.2%,与Hugging Face Transformers参考实现持平,念英文长文完全够用。Ollama官方博客

Ollama能开口了:64MB离线TTS上线,但克隆音色还得先上云

但中文用户得先按下期待——目前模型覆盖英、法、德、西、葡五种语言,官方名单里没有中文。想让它念中文稿,还得等后续支持。小红书

如果你在等一场"本地语音革命",那还早:音色克隆没断网、Windows没上桌,这一版更像开胃菜。但方向不会错——模型越小、接口越标准,本地AI离"能听能说"就越近。下一次它开口,可能就不只是念你打的字了。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章