什么值得买App下载 App ›
连续签到专享现金活动

WeMM-Video对标闭源模型:所谓“2.2分差距”,有多少水分?

过去几天,腾讯微信视觉团队把全模态视频理解模型家族 WeMM-Video 摆上了台面:微信官方在X平台官宣多模态视频模型WeMM-Video,模型能看、能听、还会推理,并且已经接入微信生态实际使用,不是只停留在跑分阶段。按技术报告里的数字,旗舰 35B-A3B 在带音频的 Video-MME 上拿到 86.4 分,与闭源的 Gemini 3.0 Flash 只差 2.2 分,但在更难的 Video-MME-v2 上差距又拉大到 8.3 分。也就是说,"差距多大"不是一个数,而是一份随任务切片变化的分布。知乎哔哩哔哩小红书

比分数更要紧的前提是:所有结果出自腾讯自己的评测流程,外面没有一个人复现过。所以对标闭源这笔账要分三处算:分数表内的差距、分数表外的口径,以及还没跑起来的复现。知乎

WeMM-Video对标闭源模型:所谓“2.2分差距”,有多少水分?

怎么把声音接进同一条时间线

这组模型的发布节奏很"腾讯":十一月十七日上传权重,十九日 arXiv 挂报告,没有发布会,微信公众号上也没有推文。知乎

技术路线上,视觉侧保留原生的 Qwen 骨干编码器——它是基于 Qwen 3.5 定制的。腾讯重点补强的是音频:音频以16kHz采样、30秒切块,经Whisper式编码器提取特征,再由窗口Q-Former把每0.1秒压成一个音频token,即每秒10个;带声视频的帧与音频token按时间顺序交错,并加入文本时间戳。这样做的直接好处,是让"第二件半价"这类台词能对上门前的商品和它出现的那一刻,而不是只拿到一张字幕稿。知乎小红书

训练数据总量是 1.2T Token,音画联合数据占 45.4%。知乎小红书

按腾讯的说法,模型已经在微信内部的直播电商、短剧分析和互动视频业务上用了。它不是为发论文而造的模型,而是已经在真实业务里承担线上任务的组件。知乎

差距被抹平的地方,和被拉开的地方

带音频的视频理解是它最硬的长板:Video-MME 带音频上,35B-A3B 得 86.4,Gemini 3.0 Flash 为 88.6,Seed2.0-Mini-0428 为 83.6,Qwen3.5-Omni-Flash 为 79.3;更值得注意的是紧凑的 9B 档拿到 85.1,高于 30B 的 Qwen3-Omni-30B-A3B-Instruct。在这个切片上,"逼近闭源"有数字支撑。小红书

但换一个切片就另当别论。静默视频上 35B-A3B 只有 80.4,反而低于它所继承的视觉骨干 Qwen3.6-35B-A3B 的 82.5——把声音接进来,并没有让"看画面"变强。更难的 Video-MME-v2 上,54.9 对 63.2 的差距也没有被抹平。连它自己的思考模式都不是万能开关:切换到 thinking,EvaOmni 从 48.8 升到 57.8,但 FutureOmni 反而从 58.4 降到 56.2。哪类问题该开长推理,还要按任务验证。小红书小红书

把小档拉开看,2B 对开源常用的 Qwen3-Omni-30B-A3B 逐项比对下来,四十项里赢了 23 项,但赢点和输点分布极不均衡:字幕和带声音视频问答赢得多,WorldSense 用字幕提问 2B 拿 29.6 对对面 14.6,DailyOmni 同项 51.1 对 19.4;输则集中在推演,Video-Holmes 48.8 对 57.6、FutureOmni 45.2 对 55.1。让它猜接下来会发生什么、解释一件事为什么发生,小模型撑不住。知乎

同一家族内部也不是"越大越好"的单调曲线:中文语音识别(WenetSpeech 词错率)四档几乎没拉开差距,而 SocialOmni 某个社交场景子项 2B 只有 41.0、4B 却能到 83.9。选档要按单项任务挑,别按名字里的"B"挑。知乎

WeMM-Video对标闭源模型:所谓“2.2分差距”,有多少水分?

分数表之外的账

对标数字目前还不能直接当作结论用:部分基线数字是作者自行评测而非官方结果,2B、4B、9B 在视频基准只报了 thinking、音频基准只报了 instruct,模式覆盖不全;论文也没给延迟和吞吐,实际部署开销无从判断。复现进度同样冷:模型官方下载量还是零,没有任何第三方跑过。小红书知乎

想用的人还会撞上工程门槛:vLLM 和 SGLang 现在都不支持这个架构,只能走官方补丁路线。知乎

发布的 GGUF 量化文件是给 WeMM 自家 runtime 准备的格式,llama.cpp、Ollama、LM Studio 都读不了。另外,规格名容易让人低估体量:名字里的 2B、4B、9B 指语言主干,不含视觉、音频两个外挂编码器,35B-A3B 的 4bit 权重 25.44 GiB,落到 24G 显存的卡上上下文一开就会溢出。

门槛低的地方在许可:整组模型挂 Apache 2.0,商用没有附加条件,而同一天腾讯开源的另一档旗舰用的是自家许可,做大型商业服务得单独申请。权重能下、能商用,这是它相对多数闭源方案最实在的差异。知乎

谁该先动手,谁该再等

现在动手有意义的是两类人:手上有批量短剧或直播切片要处理、并且有会调 vLLM 的工程师的团队,可以提前一个月试出它在你的数据上的短板。知乎

验收时别只看总分,应当追问声音与画面是否对应、长输入是否丢证据、回答耗时是否可接受。小红书

想在家里跑一个玩的用户则建议再等几周:目前还没有现成的安装脚本,模型卡上的待定项也有人会陆续补齐。知乎

至于"对标闭源、差距 2.2 分"这个说法最后能兑现到什么程度,判据只有一个:等外部复现把腾讯评测流程里的数字换成第三方跑出来的数字。在那之前,它在带音频视频理解这个切片上确实把与闭源的差距做到了两分上下,而推理任务和静默视频这两块,还看不到抹平的迹象。

评论

评论区空态插画

当前文章无评论,是时候发表评论了