传统语音技术常忽略笑声、叹气等关键信息，导致交流失真。一项名为Emilia-NV的新研究通过构建大规模数据集和创新模型，首次实现了文字与副语言信号的联合转录与合成，让人机交互朝着更自然、更富情感的方向迈出了重要一步。
智能速览
Emilia-NV开源首个大规模词级标注副语言数据集，总时长达573小时。
其NVASR模型能同时转录文字与笑声、叹气等副语言信号。
该技术实现了副语言可控的TTS，让合成语音更自然生动。
该研究成果已被国际顶级语音会议ICASSP 2026接收。
精华内容
要让机器真正理解人类语言，就必须捕捉到笑声、叹息这些非语言信息。Emilia-NV项目正是为此而生，其全流程方案打通了从数据到模型再到应用的关键环节。
基石：大规模数据集
该研究开源了首个大规模词级标注副语言数据集，总计573小时，包含17.4万条话语。这一数据集的价值在于其精细的词级标注，为模型学习笑声、呼吸声、叹气等信号与具体词语的关联关系提供了坚实基础，解决了该领域长期缺乏高质量训练数据的难题。
核心：联合转录模型
基于该数据集，研究者提出了NVASR模型。它突破了传统自动语音识别（ASR）仅能转录文字的局限，实现了文字与副语言信号的端到端联合转录。这意味着模型输出的不仅是“我很高兴”，还可能附带“[笑声]”的标记，让机器对言语意图的理解更为精准。
应用：可控语音合成
更进一步，该方案实现了副语言可控的文本转语音（TTS）合成。用户可以指定在合成语音的特定位置加入笑声或叹气，极大提升了合成语音的自然度和表现力。这为打造更具人情味的虚拟助手、更有趣的数字人内容提供了全新的技术路径。
Emilia-NV的成果让人机交互不再局限于字面意思，开始触及情感与态度的维度。这项技术如何改变未来的虚拟助手、在线教育或影视配音，值得每一个关注科技发展的人期待。
