剑桥与北航等设计可穿戴设备+LLM,融合肌肉振动、脉搏与大模型推理的无声语音系统

源自公众号:ScienceAI

01-23 14:50

针对中风等构音障碍患者的沟通难题,一项新研究通过结合柔性可穿戴设备与大语言模型,成功将喉部肌肉的无声振动实时转换为自然语音,为辅助交流技术开辟了新路径。

剑桥与北航等设计可穿戴设备+LLM,融合肌肉振动、脉搏与大模型推理的无声语音系统智能速览

  • 剑桥与北航团队研发出智能喉咙系统,可辅助构音障碍患者沟通。

  • 柔性颈环通过石墨烯传感器捕捉肌肉振动与脉搏信号。

  • 系统结合LLM代理,能将无声表达扩展为个性化句子。

  • 临床测试单词错误率低至4.2%,用户满意度提升55%。

  • 整体表达延迟约1秒,保证了沟通的实时性。

剑桥与北航等设计可穿戴设备+LLM,融合肌肉振动、脉搏与大模型推理的无声语音系统精华内容

这套系统的成功,不仅在于硬件的革新,更在于它与人工智能的深度融合,共同解决了传统辅助技术的核心痛点。

精准感知硬件

核心是一个柔性智能颈环,其上印刷了石墨烯应变传感器。该传感器灵敏度极高,能检测到低至0.1%的微小应变,有效捕捉与无声发音相关的快速肌肉活动。通过特殊结构设计,其对细微应变的响应超过10%,确保了高质量信号的采集,为后续的精准解码奠定了物理基础。

高效解码模型

系统采用带有DFT频率提取的1D卷积神经网络,解码准确率高达83.2%。该方法能自动提取最相关特征,有效识别无声言语和伴随的情绪状态。同时,通过知识蒸馏技术,模型计算延迟降低了76%,避免了用户思维与系统输出不同步的问题,保障了沟通的流畅性。

LLM智能扩展

为应对肌肉疲劳导致的表达偏差,系统引入了两个基于GPT-4o-mini的LLM代理。符号合成代理将用户无声表达的词语组合成基本句子,句子扩展代理则利用情绪标签和上下文信息,将其丰富为连贯、个性化的完整表达,实现了智能纠错与语境适应。

临床实测效果

在对中风患者的测试中,该系统表现出色,实现了仅4.2%的单词错误率和2.9%的句子错误率。从用户完成无声表达到系统播放语音,整体延迟约为1秒,接近自然交流节奏。综合反馈显示,这项技术显著提升了用户的沟通满意度和自信心。

这项技术不仅展示了可穿戴硬件与AI结合的巨大潜力,更为语言障碍患者带来了更尊严、更自然的交流方式。未来随着技术迭代,它将如何改变更多人的生活?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章