一种基于惯性信号和声学信号的多模态活动识别方法技术

本发明专利技术公开了一种基于惯性信号和声学信号的多模态活动识别方法，通过惯性和声学传感器设备同步采集用户真实活动所产生的惯性和声学信号，使用多模态Transformer编码器中，分别提取输入惯性和声学信号的编码特征，以理解上下文关系。然后在融合模块中，将惯性和声学信号的编码特征进行拼接后，执行自注意力操作，得到多模态融合特征，关注不同模态数据的重要性，最后通过分类模块识别得到活动类别。本发明专利技术采用融合的方式对识别活动的效果优于单一模态，相比其他融合方法识别活动的准确率更高。

【技术实现步骤摘要】

本申请属于人类活动识别，尤其涉及一种基于惯性信号和声学信号的多模态活动识别方法，该方法适用于基于可穿戴设备惯性传感器与音频数据采集的日常活动识别。

技术介绍

1、随着传感器技术与物联网技术的发展，人类活动识别(human activityrecognition,har)技术已逐渐渗透到人们生活的方方面面，例如医疗保健、人机交互、个人辅助、智能家居和运动追踪等领域，特别是对于处于偏远地区、需要持续监测的老年人来说，har技术可以大大提高他们的安全性。

2、根据信号来源的不同，人类活动识别主要分为基于视觉的方法和基于可穿戴传感器的方法。基于视觉的方法主要使用摄像头作为数据采集设备，从捕获到的含有行为信息的视频和图像中，提取人体轮廓、骨骼和各种感兴趣的时空特征，进而识别和分析人类活动。尽管基于视觉的方法取得了比较高的识别准确率，但是此类方法在实际应用中仍然面临诸多难以解决的客观问题，如隐私保护、场景受限、光线影响、物体遮挡和设备成本等。而基于传感器的方法则侧重于来自智能传感器(例如加速度计、陀螺仪、蓝牙、声音传感器等)的运动数据，同时也很好的保护了隐本文档来自技高网...

【技术保护点】

1.一种基于惯性信号和声学信号的多模态活动识别方法，其特征在于，所述基于惯性信号和声学信号的多模态活动识别方法，包括：

2.根据权利要求1所述的基于惯性信号和声学信号的多模态活动识别方法，其特征在于，所述预处理，包括：

3.根据权利要求1所述的基于惯性信号和声学信号的多模态活动识别方法，其特征在于，所述多模态Transformer编码器包括两个分支，每一个分支均首先利用位置编码对输入信号添加位置信息，然后依次经过多头注意力层和前向网络传播层，得到编码特征；在进入每一层之前先进行归一化操作，经过每一层后再进行随机失活操作。

4.根据权利要求1所述的基于惯...

【技术特征摘要】

1.一种基于惯性信号和声学信号的多模态活动识别方法，其特征在于，所述基于惯性信号和声学信号的多模态活动识别方法，包括：

2.根据权利要求1所述的基于惯性信号和声学信号的多模态活动识别方法，其特征在于，所述预处理，包括：

3.根据权利要求1所述的基于惯性信号和声学信号的多模态活动识别方法，其特征在于，所述多模态transformer编码器包括两个分...

【专利技术属性】
技术研发人员：杨哲，张颖，李燕君，张玉繁，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：