11月19日,火山引擎正式上线豆包实时音视频通话模型(SeedRealtime 1.0)API服务,声音、画面、时序与表达被统一到同一个端到端模型中,AI可以在连续的多模态信息流上实时交互。对用户来说,这是那个只在豆包App里才能碰到的“边看、边听、边说”的AI,第一次变成外部开发者可以直接接入的接口,官方在发布中点名了语音助手、智能硬件、陪伴式应用、实时客服四类场景。知乎微博微博
模型本身并不新,新的是开放方式。8月5日,字节发布了原生音视频全双工大模型SeedRealtime。一天后,豆包官方宣布视频通话功能全面升级,将接入这一原生音视频全双工大模型。9月底,它当起了文旅讲解员,平遥古城等景区的游客可以扫码与豆包进行视频通话、实时对话。此前这些能力只有字节官方App的用户能体验,如今以API形式对外供给,普通开发者第一次拿到了一张通往全模态实时交互的入场券。小红书微博微博
传统语音交互的做法是把ASR语音识别、VLM视觉语言理解、TTS语音合成等多个模块串联起来,每一跳都在叠加延迟、损耗信息,SeedRealtime的路线是让一个模型直接处理连续的多模态信息流。知乎
从架构里长出来的第一个变化是主动性:模型不再等用户提问,而是持续观察当前状态,在合适时机主动介入。官方演示里,用户把整颗咖啡豆倒进萃取手柄时,模型会主动提醒需要先研磨,萃取完成后还会根据油脂和出液量给出调整建议。知乎

第二个变化是对话节奏。模型需要能分辨旁人闲聊与背景噪声、不被干扰误触发,官方给出的口径是相比级联方案,音视频对话的节奏问题减少了一半。需要说明的是,“减少一半”出自厂商披露,目前没有独立的第三方复测。知乎
把时间线拉长,这个赛道的竞争在最近几个月明显提速。8月初OpenAI发布的GPT-Live做到的是音频全双工,需要深度推理或调用工具时再走独立的异步delegation路径。11月中旬腾讯混元发布的实时语音模型HyRealtime新增了Agentic工具调用能力并接入元宝和腾讯客服,但模态仍停留在语音。字节自家的Seed体系此前也已在豆包App上线原生全双工语音模型Seeduplex。SeedRealtime 1.0的差异化在于声音与画面两个通道被原生融进同一个模型,而不是“语音模型外挂一个视觉模块”。小红书知乎知乎
最早一批实测者的体感,比发布会参数更能说明这条路线的价值:说半句改口、话说一半打断、背景里开着播客,AI都能接得住,没有那种等它说完才能说的对讲机感。小红书

四类官方点名场景——语音助手、智能硬件、陪伴式应用、实时客服——的共同需求是设备要能持续“看”和“听”,并对正在发生的事实时作出反应。硬件厂商可以让眼镜、机器人获得连续的环境理解,客服和陪伴类应用则能从“听完再说”走向“看着听懂”。开发者现在评估接入时需要注意两点边界:这次公开的发布材料没有披露API定价和并发规格,延迟方面官方也只有“降低级联串联的延迟叠加”这一定性表述,没有毫秒级数字。建议以火山方舟控制台文档和实测为准,再决定把多少业务押给实时全模态交互。知乎
从8月5日模型发布、在豆包App内全量,到11月19日API全量开放,中间只隔了三个多月。实时交互的竞争正在从“谁说得更像人”转向“谁能先把看见、听见、说出来变成千万应用都能调用的基础设施”。
当前文章无评论,是时候发表评论了