当前多模态AI大多停留在被动问答，无法像真人助理那样主动介入。ROMA这一研究旨在打破此局限，它能同时理解实时音视频流，既能持续观察并主动提醒，也能随时响应后续提问，让AI交互更接近真实助手体验。
智能速览
ROMA是一种同时支持主动和被动交互的实时全模态助手。
核心难点在于处理音视频粒度不一致和解耦“何时说”与“说什么”。
通过对齐音视频的“多模态单元”和独立的“说话头”模块解决难题。
在主动类任务上表现更优，被动问答能力也具备竞争力。
精华内容
要让AI从被动应答走向主动交互，关键在于如何精准理解流式信息并把握介入时机。
交互困境
现有AI助手在实时音视频流中多局限于被动的一问一答模式。核心挑战在于，实时交互要求模型不仅要“答得对”，更要“开口得对”。音频的连续性与视频的稀疏帧之间存在粒度不匹配，导致时序对齐困难。同时，传统系统往往只能胜任主动或被动中的一种角色，难以在同一框架内高效统一，限制了AI作为真正助理的潜力。
关键技术
为应对挑战，ROMA采用了两项工程化建模。首先，将连续音频切分为1秒的片段，与视频帧对齐形成“多模态单元”，统一了处理粒度，并为增量流式处理打下基础。其次，引入一个轻量级的“说话头”模块，专门用于判断“此刻是否该触发回复”，将时机决策与内容生成分离，避免了生成偏好对触发判断的干扰。
训练与评测
在训练上，研究团队构建了覆盖主动（提醒、解说）和被动（问答）的流式数据集，并采用两阶段课程学习：先让模型适应流式输入格式，再重点训练触发策略。评测环节，团队重构了流式基准，统一了对比口径。结果显示，ROMA在主动类任务上优势明显，同时在被动问答任务中也保持了强大的竞争力。
ROMA为构建更自然的实时AI助理提供了新思路，它让AI不再是单纯的工具，而是具备观察与判断能力的伙伴。未来，这种技术将如何融入日常生活？
