什么值得买App下载 App ›
连续签到专享现金活动

豆包新实时音视频模型上线,普通用户能用上哪些新体验?

11月19日,火山引擎正式上线豆包实时音视频通话模型SeedRealtime 1.0的API服务。容易误读的地方需要先澄清:本次全量上线的是面向开发者和企业的API,普通用户不需要等待任何新入口——同一个模型,就是字节跳动Seed团队8月5日发布的原生音视频全双工大模型SeedRealtime,目前已在豆包App的视频通话里全量可用。它带来的体验变化,一句话能说清:屏幕那头的AI,一边看、一边听、一边说,三件事同时干。火山引擎DoNews快科技智灵Shaw

这通“视频电话”和以前有什么不同

豆包App的视频通话其实不是新面孔,2025年5月就上线过。但当时AI的“看”和“听”是分工处理的:语音识别、画面理解、模型作答、语音合成像一场多人接力,每次交接都在叠加延迟、损耗信息。今年4月,字节先把全双工语音模型放进了豆包App,为“边听边说”铺路。SeedRealtime做的是最后一步:把画面也拉进同一个模型实时决策,接力彻底取消。普通用户能直接感知的变化有三个。李生火山引擎科技时报

一是听得懂你说的“这个”。对着镜头问“这个怎么操作”,它会结合镜头、手势和前后动作判断“这个”到底指什么,同音词、模糊发音也能靠眼前的画面消歧。用起来最直观的区别是:你不必再把眼前的场景用语言完整描述一遍。智灵Shaw火山引擎

豆包新实时音视频模型上线,普通用户能用上哪些新体验?

二是会主动开口。官方演示里,用户把整颗咖啡豆倒进咖啡机萃取手柄,模型看到后立刻提醒需要先研磨;萃取完成后,又根据咖啡油脂和出液量主动建议缩短萃取时长。陪学时它持续盯着翻页的画面,翻到指定章节就主动提醒。交互从“你问我答”,变成了它也在现场盯着进度。火山引擎

三是吵不乱,也接得住。它能分辨旁人闲聊和背景噪声、不因干扰误触发,官方人工评测的口径是:相比级联模型,音视频对话的节奏问题减少了一半,单次对话完整顺畅交流的概率明显提升。机场演示里,它自动过滤了周围的闲聊,用户问航班时直接调用刚才看到的大屏信息作答——这种“看着眼前东西接话”的能力,是级联架构很难给到的。火山引擎

普通用户现在能拿去做什么

入口在豆包App对话框的“打电话”按钮:进入视频通话,把镜头对准眼前的场景即可。比较成熟的用法有两类:一是出门在外的随身翻译兼讲解,官方演示中,外籍食客在川菜馆面对中文菜单一筹莫展,模型识别画面菜品,直接完成翻译和讲解。另一类用在腾不出手的时候:洗碗、做饭、收拾房间,镜头架在旁边,问一句答一句,全程不用打字。智灵Shaw火山引擎

逛展览有更专门的入口:豆包App今年5月上线“博物馆讲解”功能,点击对话框里的对应按钮,镜头对准展品后豆包会自动识别并提供个性化介绍和导览,说一句“每看到一个展品就主动介绍”,还能边走边听,不用每件展品都开口问。用户侧的玩法也在自己长出来,8月功能升级当天,就有用户录屏实测后感叹“昨天豆包的视频通话功能升级了,感觉比GPT Live还强”。无聊科技向阳乔木

豆包新实时音视频模型上线,普通用户能用上哪些新体验?

两个边界值得知道。其一,这项功能有流量峰值:2026年春节期间,豆包App曾暂停视频通话功能,页面提示“新春人数较多,暂不支持此功能”,被指与算力压力有关。高峰时段不一定随叫随到。其二,主动提醒、多人场景里分清谁在说话,这些能力目前主要来自官方演示案例,日常表现还受光线、网络和环境复杂度影响,不必按演示的完美程度去预期。财联社

API上线,对普通用户意味着什么

8月上线App,是豆包自己先用;11月19日开放API,才是把这套能力向整个行业供货。火山引擎把落地方向点得很具体:语音助手、智能硬件、陪伴式应用、实时客服。换句话说,接下来“边看、边听、边说”的体验不会只出现在豆包里——智能眼镜、学习机、给长辈配的陪伴设备,背后接的都可能是这一类端到端实时模型。哪些产品会率先接入、调用怎么计费,这次公告没有披露,以火山引擎控制台和后续产品发布为准;对普通用户来说,眼下最值得做的还是打开豆包App,打一通视频电话,亲自验证它到底像不像真人。火山引擎

评论

评论区空态插画

当前文章无评论,是时候发表评论了