阿里通义实验室推出多模态音视频生成模型:Eagle与Prism解析
阿里通义实验室近期在AI音频领域发布了两款新产品:配音模型FUNSYNFORGE与音效模型PRISM MODULE。这套技术体系支持用户上传视频后,自动完成环境音、音效及语音的生成与匹配,并具备精准对口型与多角色配音能力。该模型通过多模态技术协同,实现了画面与声音的深度同步。
01核心功能解析
- 智能配音(FUNSYNFORGE)
支持输入台词描述,定义说话人的性别、年龄、语气及情感。若提供参考音色,可进行音色克隆。模型能自动识别视频中的人物开口时机,实现精准对口型,中文字错率低,说话人相似度高。 - 情境音效(PRISM MODULE)
根据画面内容自动匹配并生成音效。用户只需描述所需音效,AI即可结合视频画面语义,在精确的时间点插入声音,适用于AI短剧、动画及游戏制作。
02技术架构逻辑
Eagle模型技术支撑体系
视觉模态
负责画面理解与捕捉
- 识别画面内容
- 捕捉唇部及面部表情细节
文本模态
负责语义理解
- 解析输入台词
- 理解提示词指令
音频模态
负责声音生成
- 完成音色克隆
- 生成最终语音
时间模态
负责时序控制(首创)
- 稳定多角色配音
- 精确控制各角色发言时间,避免冲突
在音效生成方面,PRISM MODULE针对视频转音效过程中的复杂性,提出了全新的解耦框架。传统模型通常将语义一致性、时序同步、美学效果及空间精准性等目标混淆处理,而PRISM MODULE将其拆解为四个独立维度,并为每个维度配备了独立的评估机制,从而确保模型在各个指标上均能达到优化表现。
03性能表现与应用
| 评估维度 | FUNSYNFORGE表现 | PRISM MODULE表现 |
|---|---|---|
| 核心优势 | 中文字错率、说话人相似度均超越现有开源模型 | 将复杂任务拆解为四个独立维度并行优化 |
| 主要功能 | 多角色稳定配音、精准对口型、音色克隆 | 画面语义理解、精准时序音效匹配 |
| 适用场景 | 影视片段配音、AI短剧制作、Vlog旁白 | 动画音效、游戏环境音、视频内容增强 |
两大模型性能与功能对比
随着多模态大模型能力的提升,AI配音与音效生成技术在影视、动画、游戏及内容生产领域的应用场景正不断拓展。部分用户反馈,此类工具显著降低了视频后期制作的门槛,使得个人创作者也能制作出具备专业听觉质感的内容。目前,相关技术已开放测试。
当前文章无评论,是时候发表评论了