当前多模态大模型对声音的理解仍局限于单声道语音转写，无法识别声源方位、距离等空间信息。PhaseCoder首次实现麦克风几何无关的空间音频编码，让大模型真正‘听出方向’，为具身智能、机器人交互与真实环境语音理解提供关键感知能力。
智能速览
提出首个麦克风几何无关的空间音频编码器，无需适配不同硬件即可泛化使用
仅6M参数的纯Transformer架构，可同时预测方位角、俯仰角与距离
将250ms音频编码为‘Spatial Audio Tokens’，无缝接入多模态大模型
与Gemma 3n深度融合，支持空间逻辑判断与定向转写等复杂任务
在RSL2019、LOCATA等真实数据集上，麦克风不一致条件下性能达或超SOTA
精华内容
声音不只是内容，更是位置；不是‘谁在说话’，而是‘谁在哪儿说话’。PhaseCoder将空间维度正式纳入大模型的听觉认知体系。
空间盲区
现有主流多模态大模型（如Qwen-Audio、LLaVA-Audio）将音频输入统一降维为单声道波形或梅尔频谱，再经ASR模块转为文本。该范式彻底丢失相位差、通道时延、强度梯度等空间线索，导致模型无法回答‘刚才左边的人说了什么’或‘脚步声正从后方靠近’等基础空间问题。
实测显示，在双人左右对话场景中，传统模型转写错误率高达47%，且无空间归因能力；而人类被试对同一录音的空间方位判断准确率达92%。这一感知断层长期制约机器人导航、无障碍交互与沉浸式会议系统的发展。
几何无关
PhaseCoder摒弃传统空间音频模型依赖固定阵列几何参数（如线性/环形排布）的设定，直接接收原始多通道音频信号与各麦克风在三维空间中的精确坐标（x,y,z）。通过可学习的相位差建模模块，自动解耦声波到达不同传感器的时间差与路径差。
在跨设备测试中，同一模型在三星Galaxy Buds（2麦）、Meta Quest 3（4麦）和定制六面体阵列（8麦）上，方位角预测误差分别稳定在±4.3°、±5.1°和±3.8°，标准差小于1.2°，证明其摆脱了硬件绑定限制。
对比基线方法GCC-PHAT需预设阵列拓扑并手工调参，PhaseCoder端到端训练一次即可部署至任意新设备。
空间Token化
PhaseCoder将250毫秒音频窗口编码为固定维度的‘Spatial Audio Token’，每个token含方位角、俯仰角、距离及置信度四维结构化表征。该token与文本token、视觉patch token采用统一嵌入维度（4096），可直接拼接输入LLM的embedding层。
在Gemma 3n上注入空间token后，模型对LOCATA数据集中‘声源是否在前方3米内’的二分类任务准确率达91.7%，较仅用单声道token提升36.2个百分点；对‘左侧说话人语句’的定向转写WER（词错误率）降至8.4%，优于传统分离+ASR流程（WER 22.9%）。
协同推理
通过轻量投影层与LoRA微调，PhaseCoder输出的空间token与Gemma 3n原有音频token在隐空间完成对齐。模型由此支持多步空间逻辑链：例如先定位‘敲门声来自正前方’，再结合视觉token确认‘门前站立一人’，最终生成‘有人在门口’的联合推理结果。
在RSL2019多声源混响场景中，PhaseCoder+Gemma组合对‘哪个声源更靠近麦克风’的判断准确率为89.3%，显著高于仅靠能量衰减估算的67.5%；且能稳定区分间隔仅0.8米的两个同向声源，突破传统单阵列物理分辨率极限。
PhaseCoder不是一次音频处理优化，而是为大模型补上了听觉感知的关键一维——空间。当语言模型开始理解‘左’‘右’‘远’‘近’的真实物理含义，具身智能体才真正具备在三维世界中听声辨位、主动交互的能力。下一步，空间音频能否成为多模态统一架构的第三支柱？它又将如何重塑人机协作的边界？
