有道的语音识别不收回字,顺手把全球两张榜第一也拿了

源自75位全网作者

10-25 13:59

你可能没注意过:视频会议里的 AI 字幕,为什么总在跳字闪回、说出去的字又自己吞回去改口?这不是 bug,而是行业惯例——流式语音识别默认"允许回改",先蹦出来的字随时会被新版本覆盖。人是忍得了闪一下,AI 忍不了:Voice Agent 按第一版字幕执行了动作,第二版到了,动作已经发出去,改不回来了。知乎

9 月下旬,网易有道开源了子曰 Live 系列的两款实时模型:真流式语音识别 Confucius4-R2T2 和流式翻译 Confucius4-T3PO,先后登顶 Hugging Face 的语音识别和翻译两张细分热榜,搞了个"双登顶"。澎湃新闻新智元

发布仅 5 天,R2T2 就坐在 ASR 榜第一,OpenAI 家的 Whisper-large-v3 排第六,英伟达 Nemotron 掉到第八。新智元

网易有道R2T2、T3PO双登HuggingFace热榜相关讨论网易有道R2T2、T3PO双登HuggingFace热榜相关讨论

登顶第一的模型,第一课学的不是"说快点",是"等"

大部分玩家卷的是"怎么预测得更快",R2T2 把问题反着问:什么时候应该先别预测?海外开发者 Alex Prompter 说得直接:有道的 Confucius4-R2T2 反过来关注另一个问题——什么时候模型应该先不要预测。蚁工厂

它的规矩简单粗暴:输出不可逆。模型每 80 毫秒对当前音频做一次决策,听稳了的部分永久 commit 锁定,没把握的部分继续等音频;已 commit 的字,上了屏就不再改。已输出的文字只增不吞,在一些专业、严肃的会议里观感直接好一档。知乎蚁工厂

训练时它请了个离线强模型当老师,给每段音频前缀标出"最迟也不会再变"的最长稳定前缀(LSP),逼模型学会"等半句再开口"的克制——跟同声传译老手一模一样:新手听到第一个词就翻、翻错再改,老手等半句,确认方向不会错才张嘴。知乎

真流式语音识别模型的Commit/Wait机制讨论真流式语音识别模型的Commit/Wait机制讨论

数据也不虚:中文字错率 6.42%,英文 WER 6.13%,延迟 0.55 秒,准确率几乎不输离线模型。知乎

2B 小体格,轻薄本就能跑

按开发者实测口径:R2T2 专注真流式听写,体量仅 2B,普通轻薄本就能跑,延迟低至几百毫秒;14B 的 T3PO 负责边读边译,两者直接串联就是一套完整的同传链路,整套方案已支持 vLLM 高吞吐推理,跨国会议字幕、直播转译、硬件端侧集成都接得住。爱可可-爱生活

有道子曰Live实时同传组合模型介绍有道子曰Live实时同传组合模型介绍

开源后的社区反应也算罕见:Hugging Face 官方团队主动基于 R2T2 搭好了 ZeroGPU 在线 Demo 并免费送算力,第三方开发者把它移植进纯 C++ 框架 audio.cpp,海外量化社区也开始跟进适配。推特上也连刷了两天这两款小模型,讨论点都落在同一个反常识上——它解决的不是"更快",是"下游敢不敢立刻相信它的输出"。澎湃新闻蚁工厂

跟用有道的你有什么关系?

云笔记的会议转写、有道翻译的实时同传、词典笔和答疑笔的听说链路,背后吃的都是"子曰"这一套模型能力。9 月 18 日的有道 AI Open Day 上,首席科学家段亦涛刚把子曰模型矩阵和子曰 Live 同传模型当主打发布。更实惠的一层是:开源 = 免费、可本地跑、语音不用上云,对会议录音敏感的办公党可以直接关注。纵相新闻

有道词典笔产品线有道词典笔产品线

也别急着神化:6.42% 是跑分口径,实际体验受设备、网络影响;中英文之外 29 种语言的流式表现还没放出完整基准,别拿它当全能翻译机。知乎

一句话,前半场 AI 竞赛拼的是谁嘴快,后半场有道证明了:比"说得快"更值钱的,是"说到做到"。一家做词典笔起家的公司,把语音识别干到全球两张热榜第一——这年头,说话不反悔的 AI,才敢把活儿交给它。

内容由AI生成

精选参考来源

1. 语音识别的真瓶颈不是模型,是“已输出的字还能不能改”:网易有道R2T2登顶Hugging Face

2. 网易有道R2T2、T3PO双登顶Hugging Face细分热榜,全球开发者快速跟进适配

3. 刚刚,Hugging Face的热榜,被一个中国团队屠了!全球开源社区的语音和翻译两条黄金赛道上,骤然杀出一匹中国黑马,硬生生把OpenAI、谷歌、英伟达这帮国际大厂全给踹到了身后。它就是网易有道。对,就是你考四六级那年,天天开着查单词的那个有道。发布仅仅5天,有道开源的真流式语音识别模型R2T2和流式翻译模型T3PO,就在全球极客用脚投票的Hugging Face上暴力登顶,双双坐上语音识别和翻译两张Trending榜的王座!两张榜单摆在一起,排面直接拉满。 语音识别榜,R2T2排第一,OpenAI家的大杀器Whisper-large-v3屈居第六,英伟达Nemotron掉到了第八。 翻译榜,T3PO同样是榜首,谷歌、Meta那些名震江湖的翻译界老前辈,全被挤到了后头。这两个模型背后,藏着有道的大野心。从说,到听,到译,Voice Agent要用到的语音本事,它要一口气全部配齐。刚一亮相,就锋芒毕露,势不可挡。

4. 这两天在推上经常刷到的,除了Jev外还有网易有道发的两个小模型:流式语音识别模型Confucius4-R2T2流式翻译模型Confucius4-T3PO本来这类小模型一般都是专业人士讨论,热度不会很高。但这俩还是秀了一把~一个是俩模型分别在HuggingFace上各自的细分榜单里拿了热度第一(Automatic Speech Recognition 和 Translation俩个领域)一个是推上好多人在讨论、考虑这俩模型的与众不同。比如Alex Prompter是这么说的“大多数 AI 的延迟优化,关注的都是如何让模型更快做出预测。但有道的 Confucius4-R2T2 反过来关注另一个问题:什么时候模型应该先不要预测?在同声传译场景中,它会动态决定,是继续读取更多上下文,还是输出当前可输出的识别文本”更合适?也就是说,Confucius4-R2T2成功避免了一个其他同类模型常见的问题:一开始识别出来的字,发现识别错了,就会把之前的字吞掉在生成新的。而这个模型可以保证已经输出的文字只增不改(当然是在保证识别的不比其他任何模型差的情况下)。这在一些专业、严肃会议上用起来观感就比其他模型好多了。R2T2能做到是它在训练过程中学习过这个:什么时候已经听懂了才可以把这几个字真正交出去;什么时候信息还不够就应该再等一等。而Confucius4-R2T2的输出,可以作为Confucius4-T3PO的输入,两个模型组合,就能实现 “边说边识别边翻译”的场景。这样同传、直播字幕、AI 语音 Agent 场景,就相对完美的解决了传统语音交互延迟、结果反复改写的问题。还是蛮有意思的。这俩模型感觉真的是考虑到实时语音识别、翻译的用户场景了~ 不是闷头只追求一些性能参数的那种(当然性能参数也是开源第一的了)#有道子曰大模型##Confucius# 蚁工厂的微博视频

5. 网易有道开源了一套实打实的实时同传组合:语音识别模型 Confucius4-R2T2 与翻译模型 Confucius4-T3PO。R2T2 专注真流式听写,体量仅 2B,普通轻薄本就能跑,延迟低至几百毫秒,且生成文本只增不改、不会来回跳字闪烁;14B 的 T3PO 则负责流式边读边译,能动态决断何时等待上下文、何时吐出译文。两者直接串联即可跑通整套同传链路,话音刚落译文就能同步上屏,识别准确率几乎不输离线模型。整套方案已支持 vLLM 高吞吐推理,用来做跨国会议字幕、视频直播转译或硬件端侧集成都很扎实。huggingface.co /netease-youdao/Confucius4-R2T2 huggingface.co /netease-youdao/Confucius4-T3PO

6. 网易有道发布子曰大模型矩阵和AI Agent矩阵 探索AI价值落地新路径

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章