英伟达开源34B语音模型:会议转写还能分清谁说的,但4090不在名单

源自160位全网作者

09:58

昨晚,英伟达官宣:开放权重语音模型 Nemotron 3.5 Transcribe 支持 RTX Spark。知乎今早就挂出了提问。对天天被会议录音折磨的人来说,这可能是近一年最值得关注的本地语音模型。财联社知乎

一个模型包办语音活儿

以前本地转写是流水线:Whisper 出字,说话人分离得再装一个模型,要翻译还得再加一个。长录音更惨,B站有人拿 Whisper 做了 90 小时实测,视频标题直接写了结论:「长音频复读、乱编、没标点」。哔哩哔哩

Nemotron 3.5 Transcribe 的思路是一个模型全包:转写、翻译、说话人识别、词级时间戳、音频问答,甚至敏感信息脱敏。最长一次喂 1 小时录音,8 人抢话的场面也能给你出一份「谁说了哪句」的稿子。40 种语言转写、31 种语言和英语互译、13 种语言支持说话人识别,中文全程在列。Hugging Face微博极客404

英伟达开源34B语音模型:会议转写还能分清谁说的,但4090不在名单

它总参数 34B,MoE 架构每次只激活约 4.3B,跑起来的开销比个头小得多。许可证 OpenMDW-1.1,可商用。训练用的 Granary-v2 数据集(46 万小时、48 种语言)也一并公开了。Hugging Face微博

跑分是真硬

模型卡数据(10 月 12 日快照):Open ASR Leaderboard 英文九集平均 WER 4.71,开放权重第一,压过 Qwen3-ASR-1.7B 的 4.94。长音频转写 10.98,对比开源最强的 Parakeet-0.6B 是 13.37;多语言七集平均 4.62,Qwen3-ASR 是 6.49。Hugging Face

最难的多说话人会议转写,四大公开集平均 cpWER 15.80,是所有已发表结果里最低的。Hugging Face

英伟达开源34B语音模型:会议转写还能分清谁说的,但4090不在名单

先别急着下,三件事看完再说

一看显卡。官方快速上手写的是一张 H100 80GB 跑 BF16。消费级名单里唯一的 GeForce 是 RTX 5090,且只能跑 NVFP4 量化——FP4 要吃 Blackwell 架构,4090 不在兼容表里。DGX Spark / RTX Spark 倒是三种精度全支持。社区已经有人做了 GGUF 版,但还很新,想省心的等等实测。Hugging Face

二别被刷屏的速度带节奏。官方宣传「每秒转写 2,238 秒音频、30 秒录音 0.13 秒出稿」,那是一张 RTX PRO 6000 Blackwell 上 NIM 优化版的成绩。小字写得很清楚:这些优化还没进开源发行版,开源 vLLM 版预计慢一倍左右。Hugging Face

三中文用户先冷静。语言分档表里,英文是最高档 Leading,中文在最低档 Supported。官方对这一档的注明是「可能需要微调」。跑分上,中文会议集 AISHELL-4、AliMeeting 的 cpCER 是 32.91、34.95,同表英文 AMI 是 10.29——口径不完全可比,但档位差肉眼可见。想拿它转中文会议,别对着英文成绩期待。Hugging Face

还有一点:它是纯离线模型,官方明说不做实时流式。想做直播字幕、实时听记的,它不是你的菜。Hugging Face

真正的主菜其实是 RTX Spark

这次官宣的另一半是硬件:RTX Spark 笔记本已由华硕、戴尔、惠普、联想、微软、微星推出,2599 美元起,最高 128GB 统一内存,FP4 算力最高 1 PFLOPS。还新增了 GPU 资源管理功能,允许在前台应用和后台 AI 智能体之间分配算力。这明摆着是给「本地跑智能体」准备的。Liquid AI 的 LFM3 系列也同步登陆,可本地运行和微调。财联社微博

英伟达开源34B语音模型:会议转写还能分清谁说的,但4090不在名单

结论

手里有 5090 或 Spark、主要处理英文内容、多语言会议、长录音转写的,这模型今天就能装。想用 4090 搞中文会议纪要的先按住手:你现有的方案接着用,等社区把 GGUF 和中文微调盘熟,再下也不迟。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章