11月19日,火山引擎正式上线豆包实时音视频通话模型 SeedRealtime 1.0 的 API 服务。这就是8月起在豆包App视频通话里运行的同一个端到端模型:按官方说法,它用统一架构原生融合音频、视频与文本,能在连续的多模态信息流上实时交互,带来"边看、边听、边说"的全新体验。对开发者来说,最直接的变化是——过去攒出一套能实时对话的AI需要 pipeline 拼装、轮次判断、音视频对齐这三层工程,现在被模型整体吸收了,但实时传输链路和成本账不在这次API里,仍要自己盘。知乎小红书知乎
先看时间线。8月5日,字节跳动Seed团队发布原生音视频全双工大模型SeedRealtime,并在豆包App全量上线,官方称这"在业界率先实现了音视频全双工技术的规模化落地"。三个半月后API全量开放,意味着开发者拿到的是一个已经在亿级用户消费场景里验证过的模型,而不是发布会演示。知乎

省掉的第一层:ASR→VLM→TTS 的拼装流水线。 官方发布稿点名的行业痛点是,级联系统依赖 ASR、VLM、TTS 等多个模块串联,延迟层层叠加、信息逐级损耗。大模型之家的报道把每一跳的代价量化为"数百毫秒延迟和语义丢失",并判断开发者"无需自建管线,一次API调用即可接入"。过去开发者的典型做法是把三家模型用流式协议缝起来,自己处理采样、缓冲、分段传输和模块间文本接力;端到端模型直接吃音视频流,这条胶水链路整个可以作废。知乎小红书
省掉的第二层:VAD轮次判断和打断状态机。 全双工真正难的不是通道,是决策:用户停顿是在思考还是说完了?被插嘴时要不要停?旁人闲聊算不算提问?级联方案的标配是外挂VAD判停、自写打断逻辑和误触发过滤,有时还要叠降噪、唤醒词甚至声纹模块。官方现在的说法是,轮次判断不再交给外部VAD规则,而由模型基于多模态信息持续决策。抗干扰与节奏上,官方称模型可分辨旁人闲聊与背景噪声、不因干扰误触发,且相比级联模型,音视频对话节奏问题减少了一半,单次对话完整、顺畅交流的概率也有明显提升。知乎知乎
省掉的第三层:让"看懂画面"追上"听懂话"的对齐工程。 用户指着画面说"这个怎么弄",级联方案要先给视频帧生成文字描述再喂进模型,视觉的时序信息在转文字时大量丢失。SeedRealtime的官方口径是,判断"这个"指向什么,要由模型结合当前画面、手势、视线与历史动作完成。视觉与语音信息不再需要先在文字里过一遍,而是在同一模型对齐、直接理解眼前场景。多人场景里认人辨声、"翻到指定章节提醒我"这类持续盯画面后的主动开口,都来自同一套实时决策。开发者要做设备操作纠错、导览提醒、学习监督这类主动协助功能,此前需要自建画面识别触发规则引擎,现在这部分逻辑由模型承接,应用层只需定义任务。知乎知乎

官方点名的落点场景是语音助手、智能硬件、陪伴式应用和实时客服,把这称为帮实时AI应用从"会对话"走向"会协助"。放回今年的选型盘面,几款系统的入口刚刚分层:GPT-Live-1 和 Seeduplex 分别放在 ChatGPT Voice 和豆包App里、面向个人用户,MOSS-Live、GPT Realtime 2.1 和 Qwen Audio 3.0 则通过接口提供给开发者。SeedRealtime API 补上的是"连续音视频流+原生全双工"这个此前很少开放给三方的组合。知乎知乎

但也有三件事是这次API省不掉的。其一,音视频采集与实时传输链路:官方发布材料未说明API是否捆绑RTC类传输服务,"怎么把摄像头和麦克风推给模型"仍要开发者自己解决。其二,成本结构:级联方案三段计费、全双工一段计费,但一段的单价怎么定还没有官方数字,行业分析把它列为悬念。知乎
其三,鲁棒性数据。误打断率、拒识率这类硬指标目前尚未公开,发布稿里没有给出。市面上被引用最多的一组六系统对比成绩,出自 MOSS-Live 发布方自己公布的评测。落回产品前,仍要用自己的真实场景各试一遍。摄像头和麦克风常开的隐私与合规边界,同样是应用层要自己回答的问题。知乎知乎
接下来值得盯的节点很具体:API定价、协议文档,以及第一批接入产品的真实表现。实时交互的竞争焦点,正在从"模型会不会说话"挪到"哪一方能把工程层替产品吃掉"。
当前文章无评论,是时候发表评论了