小米开源空间音频理解模型,给大模型装上"耳朵"
小米昨天发布了 Dasheng 系列的新成员,MiDashengLM-Spatial,完整公开模型权重和推理代码,用 Apache 2.0 许可证开源。
这个名字得拆开看。过去两年小米先后开源了声音基座模型 Xiaomi Dasheng 和声音理解大模型 MiDashengLM-7B,相关技术已经在小米智能家居、汽车座舱等场景落了超过 30 项应用,能统一感知和理解语音、环境声音和音乐。

新模型在 MiDashengLM-7B 的基础上,给声音理解大模型加上了"空间感知"。以前这类模型"听得懂内容",现在还能"听出声音从哪来、在空间里怎么分布"。小米的说法是,这是业界首个开源的端到端空间音频理解大模型,让音频大模型从"听懂声音"再往前迈一步,到"理解声音所在的空间"。
这事有什么实际用处。举个简单的场景,智能家居里一声响动,以前模型知道"有声音",升级后能判断"声音在哪个方向、离多远、是什么发出的"。对车机座舱也一样,空间听觉能帮助系统分清是哪个位置的人在说话。这对"人车家全生态"的交互体验,是实打实的提升。
模型会陆续应用进小米智能家居、汽车座舱这些场景,项目主页、评估代码和权重都已经公开,开发者可以直接拿去用。
对普通用户来说,这又是那种"看不见但一直在变好"的底层能力。你今天不会因为一个空间音频模型去换手机,但它会慢慢渗透进你用的小爱音箱、开的车、家里的智能设备里,让这些设备对环境的理解更接近人。
小米这几年在声音这条线上投入很坚决,从 Dasheng 到 MiDashengLM,再到现在的空间版,一步步把声音理解这个相对冷门的方向做深了。开源策略也让它能借社区的力量往前走。这类基础模型的价值,往往要过几年才真正显出来。
作者提示含AI生成内容。
