香港理工大学团队推出的AR-Omni模型，通过纯自回归统一架构，首次实现了文本、图像、语音间的任意转换。它无需外部专家解码器，在实时语音生成和任务智能解码上取得突破，为构建更高效、更统一的多模态人工智能提供了全新的技术路径与解决方案。
智能速览
AR-Omni首次在纯自回归架构下实现文本、图像、语音的任意转换。
模型采用单一Transformer解码器，无需外部专家解码器。
语音生成延迟低至146毫秒，具备实时流式处理能力。
引入智能任务感知解码机制，平衡稳定性和创造性。
通过多项技术创新，解决了全模态训练中的模态不平衡等难题。
精华内容
AR-Omni的核心价值在于其统一的处理范式和具体的技术实现，这些创新共同解决了全模态AI的关键痛点。
统一自回归架构
传统多模态模型通常依赖扩散模型等外部专家解码器，而AR-Omni另辟蹊径，将文本、图像和语音统一转换为离散token序列。这种设计让模型仅用一个Transformer解码器就能处理所有模态，将建模目标完全统一为自回归生成，实现了真正原生的端到端全模态理解与生成。
实时语音生成
在语音处理方面，AR-Omni展现了卓越的实时性能。模型采用高效的语音编解码器，仅需少量语音token即可解码出高质量音频。实测数据显示，其首token延迟仅为146毫秒，实时因子低至0.88，这表明它在对话、实时翻译等需要即时反馈的场景中具备巨大的应用潜力。
智能任务感知
为了在不同任务中取得最佳效果，模型设计了智能任务感知解码机制。它通过有限状态机，自动为语音识别（ASR）这类确定性目标任务选择贪婪解码，以确保输出的稳定性和准确性；而对于开放式创作任务，则选择采样解码，以保留模型的创造力和多样性。
训练难题攻克
针对全模态预训练中的常见难题，AR-Omni提供了一整套解决方案。面对模态不平衡问题，它通过任务感知的损失重加权来均衡学习；为提升图像生成质量，引入轻量化token级感知对齐损失；并采用残差后归一化技术，有效保障了长序列训练过程的稳定性。
AR-Omni模型以其统一的架构和出色的性能，为全模态大模型的发展开辟了新道路。它证明了端到端自回归范式的巨大潜力，未来或能催生出更自然、更高效的人机交互新体验。
