什么值得买App下载 App ›
连续签到专享现金活动

微信开源WeMM-Video:能看能听的视频模型,已跑在直播带货和短剧里,但建议先别急着装

11月20日,微信官方在X平台官宣多模态视频模型WeMM-Video,模型能看、能听、还会推理。全系列共放出2B、4B、9B和混合专家(MoE)架构35B-A3B四档权重,采用Apache 2.0协议,支持中英双语。知乎知乎微博

这个模型的活不是"生成视频",而是"看懂视频":支持输入带声轨或静音的视频、音频、图像和文本,并把视频画面与原始音轨结合,做事件描述、语音转写和视听联合推理。知乎

值得单独说的是,模型并没有停在跑分阶段——按照腾讯的说法,它已经在微信内部的直播电商、短剧分析和互动视频业务里用了。但如果你打算现在就下载部署,建议缓一缓:技术报告是11月19日才挂出的,量化文件20日才补上,官方下载量目前仍为零,还没有任何第三方跑过。知乎知乎

微信开源WeMM-Video:能看能听的视频模型,已跑在直播带货和短剧里,但建议先别急着装

差异在"听":音画进同一条时间线,而不是视频加字幕

市面上多数视频理解模型走"抽帧+语音转文字"的路线,声音以文本形式进入模型,语气、环境声和音画的先后关系在这一步就丢了。据技术报告披露,WeMM-Video的语言主干基于Qwen 3.5定制,保留底模原有的视觉编码器和语言能力,重点补强的是音频处理、音画时间对齐和联合推理:让原始音画特征进入同一条时序,语言模型直接推理它们之间的关联。这个设计正好对上直播电商里"主播口头介绍的商品和画面展示是否一致"这类需求,也正是微信在报告里点名的场景。知乎

这一系列的训练数据总量披露为1.2T Token;输入输出口径也很清楚:输入文字、图片、音频、带声音的视频,输出文字,中英文都支持。知乎知乎

成绩单:2B赢下一半对局,推演是短板

按官方披露的评测,旗舰35B-A3B在Video-MME-v2上对比Qwen3.5-Omni-Flash,从36.6分提高到54.9分。最小的2B逐项对照参数量大它十余倍的Qwen3-Omni-30B-A3B,四十项赢下23项:赢在字幕和带声音的视频问答(WorldSense用字幕提问29.6对14.6,DailyOmni同一项51.1对19.4),输在推演(Video-Holmes 48.8对57.6,FutureOmni 45.2对55.1)——让它猜接下来发生什么、解释一件事为什么发生,小模型撑不住。知乎知乎

档位之间也不是线性关系:SocialOmni社交场景评测的一个子项里,2B得41.0分,4B能到83.9分。综合来看,2B跑分尚可,4B目前是最有性价比的一档,按单项任务挑规格比按名字挑更靠谱。知乎知乎

所有数字都得带着一个前提看:报告写明对照模型有官方成绩的用官方、没有的用官方自己跑的,全部结果出自腾讯自建评测流程,外部还没有人复现过。知乎

微信开源WeMM-Video:能看能听的视频模型,已跑在直播带货和短剧里,但建议先别急着装

家族路线:先把模型送上生产线,再开源

WeMM-Video不是微信视觉团队第一次"先上线、后开源"。9月4日宣布开源的同家族通用多模态嵌入模型WeMM-Embedding,早已部署在朋友圈搜索、视频号推荐、公众号和电商场景,日均调用量达到十亿次。这次WeMM-Video的路线如出一辙:先在生产业务里跑通直播带货、短剧分析,再放权重。微博微博

发布节奏也很"安静":11月17日上传权重,11月19日arXiv挂出技术报告(编号2611.26409),没有发布会,微信公众号上也没有推文,11月20日才补上量化文件并在X平台官宣。知乎

四档模型、十八个仓库、技术报告、评测复现流程,一股脑放出来,一声不响。知乎

微信开源WeMM-Video:能看能听的视频模型,已跑在直播带货和短剧里,但建议先别急着装

为什么建议再等几周

框架支持是第一道坎:vLLM和SGLang现在都不支持这个架构,官方走的是补丁路线——补丁只认特定版本(vLLM 0.18.0/0.31.0、SGLang 0.5.16/0.5.19),每个版本还要配特定的PyTorch、Transformers和CUDA 12.9,SGLang那边第一次跑甚至要现场编译CUDA内核。知乎

看着最省事的GGUF量化其实是第二道坎:仓库写得很清楚,那是为WeMM自家native runtime准备的格式,llama.cpp、Ollama、LM Studio现在都读不了。知乎

四位量化还把权重拆成语言、视觉、听觉三个文件,必须按同一个提交版本一起下载,混着版本会起不来。知乎

官方验证的范围也窄:打补丁的vLLM只在L20和H20上验证过加载成功、四种输入各生成过一次,量化档的文件清单里还标着"未验证",速度、显存占用、并发一个数都没给。知乎

资源账同样要紧:2B全精度6.12 GiB、四位5.39 GiB,4B四位7.53 GiB,9B四位13.28 GiB,35B-A3B全精度72.37 GiB、四位25.44 GiB。知乎

旗舰那档四位量化落到24G显存的卡上,剩下的不到零头,上下文一开就溢出。知乎

所以现在动手的,应该是手上有大批短剧或直播切片要做批量摘要、团队里又有人调得动vLLM的:你们能提前一个月试出它在自己数据上的短板。知乎

想在家里跑一个玩的个人用户该等:现在没有现成的安装脚本,社区也还没有人放出转换好的文件,你踩的每个坑都没人替你踩过。知乎

能让人放心等的底气在许可:Apache 2.0,商用没有附加条件。知乎

同一天腾讯开源的另一档旗舰Hy4用的是自家许可,做大型商业服务还得单独申请,相比之下WeMM-Video的商用门槛低了一截——权重摆在那里,不会跑。知乎

评论

评论区空态插画

当前文章无评论,是时候发表评论了