拿下全球双榜第一还开源免费:网易有道这对「耳朵和嘴」,你也能零成本上手

源自160位全网作者

16:03

就在大家忙着算双11定金优惠的时候,网易有道闷声干了件大事。9月下旬,他们把「子曰」大模型体系里的两款实时交互模型开源了:真流式语音识别模型 Confucius4-R2T2、流式翻译模型 Confucius4-T3PO,先后登顶 Hugging Face(当下全球AI开发者最扎堆的模型平台)的语音识别和翻译两个细分 Trending 榜首,同榜蹲着的就有 OpenAI、谷歌的多款模型,而且完全免费开放。到10月下旬,这把火还在烧,技术社区拆解它的文章一篇接一篇。网易知乎

拿下全球双榜第一还开源免费:网易有道这对「耳朵和嘴」,你也能零成本上手

对,就是那个做词典笔、做听力宝、你手机里可能装着有道词典的网易有道——2023年推出国内首个教育大模型「子曰」后,这两年它把语音、翻译、多模态一路攒成了完整模型矩阵,这次直接把压箱底的实时能力甩了出来。知乎

为什么值得看:它治的是直播字幕的老毛病

你看直播字幕就懂了:说话人刚说「我们打」,两秒后变「我们打算下周」——人闪两下能忍,AI不能。传统流式语音识别边听边改,下游系统拿到的是随时可能被推翻的草稿,动作一旦提前触发就全错。

R2T2 偏不走这条路:字一旦提交就永久锁死,绝不回改。锁死了还怎么准?它的思路像极了同传老师傅——听懂半句、确认方向不会错,才敢开口。官方测试数据:中文字错率6.42%、英文词错率6.13%,平均延迟200~600毫秒,准确率接近离线识别,速度却还是真直播。再配上140亿参数的 T3PO,一条「边听、边译、边理解」的实时同传链路就通了,不用等说完一整段才出译文。知乎网易微博

拿下全球双榜第一还开源免费:网易有道这对「耳朵和嘴」,你也能零成本上手

拿下全球双榜第一还开源免费:网易有道这对「耳朵和嘴」,你也能零成本上手

三类人,各拿走各的福利

  • 想尝鲜但不想折腾的:模型发布后,HuggingFace 官方主动搭了免费的在线 Demo(ZeroGPU),打开网页就能体验它的实时识别,一分钱不用花。知乎

  • 有电脑的动手党:社区已做出 Q2 到 Q8 的量化版本,llama.cpp、Ollama 都能本地部署。纯 C++ 的本地实时麦克风识别,9月19日已合入 audio.cpp 主仓库。给视频会议、看生肉直播挂实时字幕,门槛前所未有地低。网易知乎

  • 正纠结有道词典笔/听力宝/耳机的家长:语音识别和翻译正是有道的看家本领,双登顶是这家品牌目前最硬的一次技术背书。但丑话说在前——你买的机器有没有用上这套新模型,一切以官方产品信息为准,别把「模型登顶」脑补成「手里的设备升级了」。

拿下全球双榜第一还开源免费:网易有道这对「耳朵和嘴」,你也能零成本上手

冲之前,先把三件事想明白

  1. 登顶的是 Trending 热榜,意思是「全球都在玩」,不等于准确率期末考试,准确率请以官方测试集为准。网易

  2. 除中文、英文是重点优化外,其余约29种语言的流式表现没有公开完整基准。知乎

  3. 本地部署有硬件门槛,延迟会随音频切片配置和设备变化,别指望旧笔记本全速流畅跑。知乎

技术人最大的快乐,是世界级的能力免费塞进自己手里;至于不想折腾的人,就等这套技术慢慢渗进你买的那支笔、那副耳机里——那时候,才轮得到「值得买」三个字。

内容由AI生成
1
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章