谷歌Gemini上线实时虚拟人,支持97种语言嘴型同步已有企业日均百万通话
谷歌刚给自家AI装上了一张能实时说话的“脸”。Gemini 3.8 Live上线了Live Avatar(实时虚拟人)功能,这次最炸裂的点在于:它能在97种语言之间无缝切换,而且切换时嘴型对得上、表情不抽搐、画质不掉帧。以前跟AI对话像打电话,现在直接进阶成打视频电话了。
嘴型严丝合缝,还能一心二用
这张“脸”和以前那种僵硬的套壳数字人可不一样。Live Avatar把视频生成直接塞进了语音模型底座里,延迟压到了真人对话的水平。它说话时,唇形和表情是跟着语音实时生成的;当它需要切换语言时,嘴型会自动适配新语言的发音动作,不会出现画面漂移或者画质模糊。而且它还能“一心二用”,你在跟它语音聊天时,它可以在后台偷偷调接口查数据,不用再让你看着它转圈思考。
这张“脸”和以前那种僵硬的套壳数字人可不一样。Live Avatar把视频生成直接塞进了语音模型底座里,延迟压到了真人对话的水平。它说话时,唇形和表情是跟着语音实时生成的;当它需要切换语言时,嘴型会自动适配新语言的发音动作,不会出现画面漂移或者画质模糊。而且它还能“一心二用”,你在跟它语音聊天时,它可以在后台偷偷调接口查数据,不用再让你看着它转圈思考。
普通人暂时用不上,企业能捏专属脸庞
这么丝滑的虚拟人现在谁能用?很遗憾,个人用户暂时还体验不到。目前该功能仅在Gemini Enterprise面向企业开放,自定义专属形象也得走企业白名单申请。企业拿它当客服或者虚拟员工,只需提供一张高质量参考图,就能生成保留品牌特征的全动画形象。为了防作恶,所有生成的音视频都被强制嵌入了SynthID隐形水印,确保AI冒充真人的内容能被识别。
这么丝滑的虚拟人现在谁能用?很遗憾,个人用户暂时还体验不到。目前该功能仅在Gemini Enterprise面向企业开放,自定义专属形象也得走企业白名单申请。企业拿它当客服或者虚拟员工,只需提供一张高质量参考图,就能生成保留品牌特征的全动画形象。为了防作恶,所有生成的音视频都被强制嵌入了SynthID隐形水印,确保AI冒充真人的内容能被识别。
客服电话对面可能就是它
已经有企业拿它干活了。Cox Automotive把它放进了购车平台当导购,能边说话边高亮屏幕引导你选车算贷款;印度的Equal AI更是靠它每天处理超过百万通跨九种语言的实时通话。以后打客服电话,屏幕对面跟你对答如流、还能随时切外语的,大概率就是这类AI虚拟人了。
已经有企业拿它干活了。Cox Automotive把它放进了购车平台当导购,能边说话边高亮屏幕引导你选车算贷款;印度的Equal AI更是靠它每天处理超过百万通跨九种语言的实时通话。以后打客服电话,屏幕对面跟你对答如流、还能随时切外语的,大概率就是这类AI虚拟人了。
历史事件回溯
当前事件
谷歌Gemini虚拟人支持97种语言切换
- 语言规模:支持97种语言实时交互切换
- 交互形态:AI虚拟人拟真语音对话
- 底层模型:基于Gemini 2.0 Flash构建
2024年5月
OpenAI发布GPT-4o多模态模型
- 语言规模:支持50余种语言实时语音交互
- 交互形态:端到端多模态原生语音对话
- 底层模型:基于GPT-4o端到端模型构建
2023年8月
Meta发布SeamlessM4T多语言模型
- 语言规模:支持近100种语言语音翻译
- 交互形态:专注跨语言语音到语音翻译
- 底层模型:基于SeamlessM4T统一模型
当前文章无评论,是时候发表评论了