什么值得买App下载 App ›
连续签到专享现金活动

豆包AI又进化了!实时音视频模型上线 能看会听还能主动开口

15:30

快科技11月19日消息,今日,火山引擎正式上线豆包实时音视频通话模型SeedRealtime 1.0 API服务,实现声音、画面、时序信息与语音表达的端到端融合,支持AI在连续多模态信息流中实时交互,带来边看、边听、边说的全新体验。

据介绍,传统语音交互系统通常需要将ASR语音识别、VLM视觉语言模型、TTS语音合成等多个模块串联工作,容易产生额外延迟和信息损耗。

而SeedRealtime 1.0将声音、画面和表达统一到同一个模型中,不再局限于等待用户提问,而是能够持续理解周围环境的变化,并在合适的时机主动开口,将视觉和听觉信息共同用于实时判断与表达。

在多模态理解方面,SeedRealtime 1.0能够结合画面和语音识别不同人物、理解上下文关系,并根据实际场景给出回应。

例如,在多人聚餐场景中,模型能够结合视觉和语音区分不同人物,记住各自身份,并根据不同需求定制旅行方案。

除了被动回答问题,SeedRealtime 1.0还具备持续环境感知和主动表达能力,能够在发现关键目标、画面变化或任务节点时主动提醒用户。

例如,在咖啡制作场景中,当模型发现用户将整颗咖啡豆倒入萃取手柄时,会主动提醒先研磨咖啡豆;咖啡萃取完成后,还能根据咖啡油脂和出液量,主动提出缩短萃取时长的建议。

在学习场景中,模型能够持续观察翻页画面,在识别到指定章节后及时提醒,并主动报出学习率、动量、权重衰减等训练参数。

在实时对话方面,SeedRealtime 1.0能够感知用户的交流状态和对话节奏,自然完成接话、停顿和回应,同时具备较强的背景噪声过滤能力。

火山引擎表示,相比传统级联模型,SeedRealtime 1.0的音视频对话节奏问题减少了一半,单次对话能够完整、顺畅交流的概率也有明显提升。

例如,在机场等嘈杂环境中,模型能够过滤无关闲聊,结合此前识别到的航班大屏信息回答用户问题,还能识别指示牌,主动指引旅客前往网约车上车点。

目前,火山引擎已正式开放SeedRealtime 1.0 API服务,开发者可以将其接入语音助手、智能硬件、实时客服及学习辅助等应用场景。

从传统语音问答到实时音视频融合,再到主动感知和表达,SeedRealtime 1.0进一步拓展了AI与真实世界交互的能力边界。

豆包AI又进化了!实时音视频模型上线 能看会听还能主动开口

编辑:拾柒

【本文结束】如需转载请务必注明出处:快科技

评论

评论区空态插画

当前文章无评论,是时候发表评论了