条新消息条新评论

登录注册

写篇文章

当前位置：

AIGC文章详情

OpenAI发布全双工语音，支持随时打断免费可用

源自49位全网作者

10:37

精选参考来源

全球第一！中国模型登顶榜首，首个可编辑AI语音来了

新智元 2026-07-02

你有没有想过，把一篇长文直接变成两三个人对着聊的播客？微软还真做出来过这么一个模型，叫 VibeVoice。你给它一段文字脚本，它能合成出最长约90分钟、最多4个不同说话人的对话音频，你一句我一句，有语气有停顿，听着像真人在录节目。可它最出名的一件事，不是这个能力有多强，而是微软开源它没几天，转头又把代码自己删了。这中间到底发生了什么、现在还剩下什么能用，挺值得说一说。文字转语音（TTS）这类工具，大部分你都熟：输进去一段字，读出来一段音。但绝大多数模型有两个老毛病，一是只能一两个说话人，二是一次能生成的音频撑不了多长。VibeVoice 是微软开源的一整套语音模型，正好把这两条一起破了。比如你手里有一篇论文、一份研报，想边通勤边听，就能把它配成主持人抛问题、两个嘉宾一来一回解释的那种节目。这活儿以前得凑齐人、约个录音棚才干得成。它生成的不是字正腔圆的播音腔，是带情绪、带对话节奏的那种，中文英文都行，官方放出来的示例里甚至还有跨语种对话和即兴哼唱。这里最难的其实不是「能出声」，是「长」和「多人」凑到一起还不乱。一段一个多小时的对话，要让4个人各自的嗓音从头到尾都稳住、不串味、不忽然变个人，很吃功夫，之前不少模型就卡在这儿。微软干脆把自己这一系列叫「前沿语音 AI」，这套东西也拿了顶会 ICLR 2026 的 Oral（大会口头报告，是论文里分量最重的一档），不是随便糊的 demo。就一件事，它把声音「压」得特别狠。普通做法里，一秒钟的音频要拆成几十上百个小块喂给模型，一个半小时的音频块数直接就爆了，模型根本装不下。VibeVoice 用了一种极低帧率的压法，一秒钟的声音只用很少几个块表示（每秒7.5个），于是90分钟的音频也能一口气塞进模型的窗口里。压这么狠，音质居然还没垮。底座是一个开源大模型（Qwen2.5）负责读懂文字、把控对话往哪走，再由一个扩散模块把声音的细节生成出来。你不用记这些名词，知道「它把音频压得够小，所以能一次读很长」就够了。2025年8月底，微软把这个模型开源放出来。好东西，社区一下就沸腾了。可火了大概10天，到9月初，微软自己发了个说明：发布之后，他们发现有人拿它做了不符合初衷的事，出于「负责任地使用 AI」的原则，把 VibeVoice 那部分文字转语音的代码从仓库里删掉了。现在翻它的官方文档，那段「怎么安装、怎么用」的位置，只剩一句话：因广泛滥用而停用。被点名的风险其实不难猜。一个能把文字读成以假乱真的人声、还能同时模仿好几个说话人的模型，太容易被拿去伪造别人的声音、造假信息。有意思的是，这个风险它自己的说明里从头到尾都写着，结果没等多久，担心的事就真发生了。这条底线一碰，麻烦就大了。厂商亲手把自己刚开源、正当红的项目撤下来，这事我印象里不多见。多数公司是舍不得的，热度就是钱嘛。就冲这一点，得说微软这回还算拎得清。但代码删得掉，已经放出去的东西删不掉。开源这事，有点像泼出去的水。模型的权重（也就是训练好的那份「本体」）在被撤之前就已经公开发出去了，到现在还挂在 HuggingFace 上，下载量23万多次，社区里也留了一堆副本。微软能收回的，只是官方仓库里那份代码和「官方背书」，收不回早就流进无数人硬盘里的那份权重。这不是谁的错，是开源的特性，你一旦真开源，就得默认它收不回来了。所以到底该不该把这类高风险模型开源，本身就是个没有标准答案的难题。（说实话我没上手大规模测过它的效果，主要是看官方说明和放出来的示例，这话你听着权当参考。）那 VibeVoice 这个项目是不是就这么死了？也没有。仓库还在，没归档，只是重心换了方向，从那个惹祸的长音频合成，转到了两个更克制的东西上。一个是它的语音转文字模型（把声音转成字），能一次处理最长约60分钟的长音频。它不光转文字，还顺手把「谁在说、什么时间说的、说了什么」这三件事一起标出来。一般的转写工具会把长音频切成一小段一小段处理，容易丢掉前后文，它是一整段一口气吞下去，前后能对得上。支持50多种语言，还能塞进去一些自定义热词（比如人名、专业术语）帮它认准。这个模型现在已经并进了主流的模型库里，对写程序的人来说几行代码就能调，不用自己折腾环境；拿它转一小时的会议或者访谈，能出一份带时间轴的文字稿，挺实用。另一个是轻量的实时版语音合成，个头小、好部署，还支持流式，你这头文字还在往里输，它那头声音已经开始出了，从输入到听见第一声大概只要300毫秒，能连着说上10来分钟，适合做实时对话。这个实时版也还在更新，2025年12月又给它添了好几种语言的实验音色，看得出团队没打算把整个项目就这么放下。它也有短板。官方明确写了，这些模型只建议用于研究和开发，没经过进一步测试别直接搬去做正经商用。还有最现实的一条，它最招牌的那个长音频对话合成，代码在官方仓库里已经没有了，现在仓库里是不带「一键把文稿变播客」那个功能的，这一点得先说清。一个已经开源、还拿了顶会认可的模型，因为可能被滥用，厂商自己把它撤了。你觉得这波撤得对，还是可惜了？它叫 VibeVoice，微软开源的，GitHub 上就有。#马力的AI知识分享##马力的AI开源项目分享#

马力AI和商业思维 2026-07-06

来自新浪微博

全部
来源

内容由AI生成

0

扫一下，分享更方便，购买更轻松

0评论

当前文章无评论，是时候发表评论了

提示信息

取消

确认

评论举报

垃圾广告！低俗色情！人身攻击！疑似水军评论！其他有害！

最新文章热门文章

查看更多

下一篇：

542万杯到全线停产！3年时间，酱香拿铁给茅台狠狠上了一课

已收藏
去我的收藏夹