什么值得买App下载 App ›
连续签到专享现金活动

豆包AI视频通话来了!举着手机问啥都行,终于能边看边聊了

豆包视频通话升级:AI终于能边看边听边说了
最近豆包更新了一个新功能——视频通话。跟以前打字发消息不一样,现在你可以直接打开摄像头,让AI"看见"你周围的世界,一边看一边聊。听起来有点像科幻片里的场景,但8月5日字节跳动正式上线了这款基于SeedRealtime大模型的视频通话功能,号称能把AI从"一问一答"的传统模式,推进到"边看、边听、边说"的实时交互新阶段。简单来说,就是你举着手机对什么东西,AI就能实时看懂并告诉你相关信息,全程用语音自然对话。目前所有豆包用户都能免费使用,日活超2亿的应用本身就是检验这项技术能力的场域。12
这项功能的技术底座是字节自研的SeedRealtime模型。与传统AI依赖"语音转文字→图像理解→文字转语音"多个模块串联的架构不同,SeedRealtime用一套端到端模型把音频、视频、文本统一处理,实现了感知、理解、决策、表达四个步骤同步进行。官方数据显示,相比传统级联方案,对话节奏问题减少约50%,抢话、迟答等卡顿现象显著下降。在机场、餐厅等嘈杂环境测试中,对目标语音的识别准确率达到92%,不会因为旁人聊天或广播声误触发。34
实际使用中,这套系统能解决几类高频需求。逛水果摊时,对准木瓜或牛油果扫一眼,AI能判断成熟度;在博物馆,交代一句"看到错金银铜虎噬鹿屏座就提醒我",它会在镜头捕捉到目标时主动开口讲解;对着外文菜单拍照,AI能实时翻译并解释菜品背后的文化含义。关键改进在于"主动"二字——系统会持续观察画面,判断什么时候该介入,而不是每次都等你先开口提问。不过,复杂场景仍有局限,比如远距离文字识别、窗外快速移动的景色,偶尔会出现偏差。145
打断体验是这次升级的核心亮点。全双工设计让用户能随时"抢话",不像以前那样说完一句话必须等AI完整回复才能继续。实测中话音刚落AI就能接上,几乎没有"思考空白期"。这种实时性在帮人修电脑、指导操作等场景特别实用——你一边操作一边问,它实时看着你的屏幕给出指引,比打字描述问题方便得多。但要注意的是,官方提示网络波动大时会出现延迟上升和画面卡顿,WiFi环境下体验最佳。56
放到整个行业看,豆包、GPT-Live、Gemini Live三款产品都在做类似的事,但路线差异明显。豆包专注中文口语场景优化,在背景噪音过滤和方言识别上表现突出,交互风格生活化、口语化,回答克制,不会长篇大论;Gemini更强调环境感知能力,支持摄像头画面与屏幕内容实时解析;GPT-Live则把精力放在"边聊天边搜索推理",试图构建语音+智能工作台的复合形态。从中文理解精准度、本土化适配程度来说,豆包优势明显;但在超长上下文处理、跨境资讯解读等场景,Gemini能力更强。789
还有一些细节值得关注。有用户反馈豆包视频通话模式下没有语音输入约5分钟就自动挂断,长时对话会受限。在知识广度、解说风格丰富度上,豆包表现不错,但响应频率有时不稳定,偶尔会出现该提醒时没反应的情况。京东近期开源的JoyAI-VL-Interaction模型在监控告警、实时翻译等场景对豆包取得77.6%的胜率,不过那款产品面向开发者场景,普通用户直接用到的不多。对普通用户来说,豆包是目前门槛最低、入手最快的音视频交互AI选择。1011
维度豆包视频通话Gemini LiveGPT-Live
技术架构端到端原生多模态端到端原生多模态端到端原生多模态
中文优化深度优化,口语自然中文识别一般中文识别一般
视觉交互实时视频通话实时视频通话暂不支持视频通话
主动提醒支持,持续观察画面支持不支持
免费使用完全免费部分功能免费需付费订阅
主要优势中文场景、免费、响应快多模态能力、长上下文推理搜索能力

评论

评论区空态插画

当前文章无评论,是时候发表评论了