张大妈

ICMI 2025 | WatchHAR:让手表更懂你!首个完全在设备端运行的实时多模态活动识别系统

源自知乎:我爱计算机视觉

02-13 15:03

智能手表如何做到精准、实时地识别用户活动,同时保护隐私?WatchHAR系统给出了答案。它通过创新的端到端架构,首次在智能手表上实现了完全本地化的多模态活动识别,不仅将处理速度提升5倍,更让手表成为一个独立、私密且智能的个人设备。

ICMI 2025 | WatchHAR:让手表更懂你!首个完全在设备端运行的实时多模态活动识别系统智能速览

  • WatchHAR是首个完全在智能手表本地运行的实时多模态活动识别系统。

  • 通过端到端可训练架构,将处理速度提升约5倍,事件检测仅耗时9.3毫秒。

  • 在超过25种活动上保持90%以上的高识别率,性能全面超越现有先进模型。

  • 核心创新在于将音频预处理整合进神经网络,实现端到端优化。

  • 采用“先探测,后识别”的两阶段策略,有效平衡了功耗与性能。

ICMI 2025 | WatchHAR:让手表更懂你!首个完全在设备端运行的实时多模态活动识别系统精华内容

WatchHAR的成功并非偶然,其背后是精巧的设计哲学与关键的技术突破。从策略选择到架构创新,每一步都旨在解决端侧AI的固有矛盾。

算力与隐私的矛盾

在智能手表上实现精细的人体活动识别(HAR)面临着两难。一方面,融合多种传感器数据并运行复杂模型需要巨大算力。另一方面,将数据上传到云端处理会引入隐私泄露风险和网络延迟,削弱了手表作为独立设备的即时性和安全性。因此,业界的目标是在保证高精度的前提下,将整个系统完全封装在手表本地运行。

两阶段的智能策略

WatchHAR采用“先探测,后识别”的节能策略。系统始终通过低功耗的惯性传感器(IMU)运行一个轻量级模型,初步判断是否有“事件”发生。只有当检测到潜在活动时,才会激活麦克风等高功耗传感器和复杂的多模态分类模型。这种按需启动的方式,极大地降低了整体功耗,延长了手表续航。

端到端的架构革新

WatchHAR的核心突破在于其创新的模型架构。它将传统的音频预处理步骤(如计算梅尔频谱图)作为可训练的神经网络层,直接整合进模型主体。这种端到端设计使预处理与模型推理能够联合优化,从而找到最适合当前任务的声学特征表达。对于IMU数据,则采用轻量级CNN,最后通过门控融合机制整合多模态信息。

实测性能卓越

在Apple Watch Series 7上的实测表明,WatchHAR性能全面领先。其事件检测F1分数达93.5%,远超SAMoSA模型的88.0%,处理时间仅9.3毫秒。在活动分类上,它在计算开销低5到47倍的前提下,实现了与SOTA模型相当甚至更优的准确率,处理速度快了5到6倍。这证明了其架构的卓越效率。

WatchHAR不仅是技术上的一个里程碑,更将推动智能手表从被动显示器转变为主动理解用户行为的智能伴侣。它为健康监测、紧急呼救等应用开辟了新可能,一个真正“智能”且注重隐私的个人计算时代正加速到来。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章