什么值得买App下载 App ›
连续签到专享现金活动

字节跳动全双工大模型上线,豆包视频通话升级边看边聊

8月5日,字节跳动正式推出原生音视频全双工大模型SeedRealtime,已在豆包App全量上线。这个模型把音频、视频和文本揉进同一个端到端架构,实现"边看、边听、边说"的实时交互——不用再像用对讲机一样跟AI轮流说话,它可以同时接收画面和声音,一边理解一边回应。把豆包App更新到最新版本,在对话框里选"打电话"进入视频通话界面就能体验。
从"对讲机"到"真人节奏"
以前跟AI语音聊天,最明显的感受是"人机味"——你说一句,它处理一句,中间有明显等待。你稍微停顿两三秒,它就默认你说完了,顺着半句话开始输出一堆你没问的东西。该等的时候不等,不该接话的时候抢着接,像跟一个完全不会看脸色的人聊天。SeedRealtime把感知、理解、决策和表达统一到同一个模型里,不再依赖"听—转写—想—说"的逐段拼接。端到端人工评测显示,相比传统级联方案,对话节奏问题减少了一半,抢话、延迟回应、被背景噪音误触发等卡顿现象明显减少。
它学会了"看脸色"和"闭嘴"
全双工真正难的地方,不是让AI始终能听见、能看见,而是当它能听见、能看见之后,怎么知道哪些信息和自己有关。豆包这次加入了"交互指向性"能力——模型不只是识别一句话说了什么,还要结合说话人、面部朝向、视线、上下文判断这句话到底是不是说给它听的。你转头跟朋友商量"要不要做饭",声音同样进了手机,但豆包不会被带跑开始教你做菜。在博物馆、机场这种多人嘈杂环境里,它也能从混杂人声中准确识别提问人的问题,不会被旁边人的闲聊干扰。
该说话时,它主动开口
学会闭嘴只是一半功力。更实用的是它的主动交互能力——模型能持续观察画面,在关键时刻主动提醒。比如你开着视频通话收拾新买的猫用品,告诉它分类规则后,不用每拿一样东西就问"这个放哪里"。当你把猫粮错放进玩具箱时,它会主动开口提醒你放错了位置。在博物馆里它能持续识别镜头中的文物,你驻足观察时自动讲解;操作咖啡机时根据画面变化实时纠错;看论文时监测翻页进度,到指定章节自动提示。这不是你问我答,而是它一直在默默观察、判断,在它觉得你需要被提醒的时候才开口。
怎么体验,行业走到哪了
目前行业里都在往全双工方向走。OpenAI的GPT-Live做了全双工,但还停留在音频层面,能边听边说,做不到边看边聊;微软也在测试自研全双工AI语音模型MAI Realtime,支持中文等16种语言;Thinking Machines做的是全模态,但还在研究阶段。豆包这次把音视频全双工直接做进了产品里,普通人随手就能打开体验。除了手机端,特斯拉中国也在7月31日开始分批次推送OTA升级,引入豆包大模型,车主可以获得低延时、真人感的实时语音体验,支持随时打断和主动接话。国产大模型在推理成本和合规性上的优势,让它在这轮语音交互竞赛中跑得更快。
历史事件回溯
当前事件
豆包上线全双工大模型,实现边看边听边说
  • 交互模式:真正全双工,支持视觉、听觉、语音同步进行
  • 核心特性:支持无缝打断,响应达毫秒级,视觉与语音实时联动
  • 应用场景:适用于实时讲解、陪伴交互和操作指导
2024年5月
OpenAI发布GPT-4o,支持实时多模态交互
  • 交互模式:端到端多模态,支持语音、视觉和文本同步处理
  • 核心特性:响应极短延迟,能感知情绪,支持随时打断对话
  • 应用场景:适用于实时翻译、辅导教学和客户服务
2023年9月
ChatGPT上线语音与图像功能,实现多模态
  • 交互模式:非全双工,基于语音转文本处理,需轮替对话
  • 核心特性:语音合成自然,支持图像识别,但交互存在延迟
  • 应用场景:用于日常语音问答和图像内容分析解答

评论

评论区空态插画

当前文章无评论,是时候发表评论了