什么值得买App下载 App ›
连续签到专享现金活动

AI从“等你喊”变“自己看”:京东开源实时视觉交互模型,8B参数新突破

用视频通话功能让AI看东西时,有没有这种感觉——你话还没说完,它就开始抢答;或者屏幕里已经变了样,它还在傻等下一个指令。问题不在于模型不够聪明,而在于"轮流说话"这套交互逻辑放错了地方。真实世界里,汤扑出来不会等人喊完再扑,老人摔倒了不会等你想起来再摔。京东最近开源的JoyAI-VL-Interaction想解决的就是这个——让AI学会自己判断什么时候该说话,什么时候该闭嘴。1
它和普通视频AI到底哪里不一样
市面上大多数视觉助手本质上还是"回合制"——用户问一句,它答一句,画面变化再大,你不开口它就装聋。而JoyAI-VL-Interaction把"什么时候说话"的决策权从用户手里交到了模型手里。它每秒都在观察视频流,自己判断:这件事值得提醒吗?不值得就继续沉默,值得就主动开口。官方把这种模式叫"视觉驱动的交互模型",简单说就是让AI从"被动等指令"变成"主动看场子"。2
这套模型有三重核心能力:主动判断——不再等用户触发,画面出现异常自己决定要不要说话;实时响应——面向正在发生的画面流式处理,而不是等视频上传完再复盘;智能体委托——遇到复杂推理、代码生成这种重活,自己继续盯着画面,把任务甩给后台Agent异步处理,结果回来再自然接上对话。3
小模型怎么做到又快又准
JoyAI-VL-Interaction参数量只有8B,放在动不动几百亿的大模型里算小个子。但它用了一套双循环架构:前台是8B的轻量模型负责实时盯画面、做决策;后台接更大的模型处理复杂任务,两者各干各的,前台不间断。技术报告里提到的AdaCodec预测编码也挺巧妙——不给每一帧都花完整的视觉token,画面变化大的时候细看,变化小的时候略过,这样token消耗只跟画面变化量成正比,不会随视频时长爆炸。4
"什么时候开口"这种分寸感没法用规则硬写,得靠数据训练出来。京东用了400万+条带时间戳的交互样本,每一帧都标注了"该不该说话",是连续的时序标注。这种数据的形态变了,模型长出来的能力就不一样——它不是从文本对话里学来的,是从"边看边说"的真实交互里摸爬滚打出来的。5
实测表现到底行不行
京东发布的技术报告里披露了盲测数据:覆盖监控预警、实时计数、实时翻译、时间感知、直播解说、长程记忆六类场景,共58个案例。对比豆包视频通话助手,胜率77.6%;对比Gemini视频通话助手,胜率87.9%。其中监控预警场景最极端,对两款竞品都拿到100%胜率——也就是说,在"有人摔倒"这类需要即时响应的场景里,JoyAI-VL-Interaction确实比对手反应更快、更准。6
有个细节值得注意:Doubao在摔倒发生后大约20秒才反应过来,Gemini干脆把监控告警当成了视频问答任务,往后看而不是实时预警。这说明"知道什么时候该说"不是靠功能堆砌出来的,是模型从根子上重新设计了交互逻辑。对安防、看护这类场景来说,晚几秒预警可能价值就归零了,这个差距很关键。2
谁适合关注这个开源项目
JoyAI-VL-Interaction是全球首个全栈开源的实时视觉交互模型,权重、代码、训练方案、交互数据集全部放出,还拿到了vLLM-Omni的day-0原生支持。ASR、TTS、可视化界面、后台模型都可以按需替换,开发者不需要从零搭视频处理底层框架,语音、Agent、业务接口都能自己接。这意味着做安防监控、老人看护、直播导购、AI眼镜、无障碍辅助这些场景的人,可以直接基于这套底座快速搭产品。7
不过需要认清一件事:JoyAI-VL-Interaction只提供技术基座,不直接面向普通用户出成品软件。想拿来直接用,得有一定的工程能力做部署和二次开发。对普通消费者来说,暂时没有App可以直接下载体验。行业里视频AI正在分化出两条路:一条是"你问我答"的被动问答型,做短视频解析、上传视频问答;另一条就是JoyAI-VL-Interaction走的主动流式交互路线,适配所有需要即时反馈的动态场景。选哪条路,看具体需求是什么。8
总体来看,这个模型的技术方向是清晰的——让AI从"需要时才出现"变成"一直在场、该出手时才出手"。评测数据在主动响应类场景里确实比现有产品有明显优势,开源完整度和生态支持力度也够。落地效果最终取决于开发者能把它用到什么场景里。9

评论

评论区空态插画

当前文章无评论,是时候发表评论了