【技术实现步骤摘要】
本申请涉及人体运动姿态识别领域，且更为具体地，涉及一种基于多特征融合的人体运动姿态识别系统及其方法。
技术介绍
1、近几十年来，研究者们一直在寻找一种能客观、准确、可靠识别人体运动姿态的方法。近几年出现的基于加速度传感器的方法为识别人体运动姿态提供了新的思路和实际方法并且得到了大量的应用。越来越多的研究表明，人体运动加速度信息可以反映人体运动时的重要运动学特征和步态特征。
2、三轴加速度传感器是一种体积小、重量轻、能够测量包括垂直、侧向、前后向的三个方向上的人体运动加速度。三轴加速度传感器对人体运动状态更敏感，其输出也更能反映人体的真实运动状况。
3、但是，目前的基于三轴加速度传感器的人体运动姿态识别还存在一些明显的缺点，例如，现有的识别系统仅对于传感信号进行简单的处理，比如记步等，但是除了走之外，人体运动姿态还包括奔跑、蹦跳等。然而，现有的识别系统无法对于多种运动姿态进行识别。
4、因此，期待一种优化的人体运动姿态识别方案。
技术实现思路
1、有鉴于此，本申请提出了一种基于多特征融合的人体运动姿态识别系统及其方法，其可以综合利用人体在运动过程中的加速度信息和实时的运动姿态监控图像信息，并结合基于深度学习的图像处理技术，来实现对人体运动姿态的识别。
2、根据本申请的一方面，提供了一种基于多特征融合的人体运动姿态识别方法，其包括：
3、获取人体在运动过程中预定时间段内多个预定时间点的加速度值；
4、获取所述人体在
5、对所述多个预定时间点的加速度值和所述多个预定时间点的运动姿态监控图像进行特征提取与诱导融合以得到运动时序特征引导的运动姿态时序特征图；以及
6、基于所述运动时序特征引导的运动姿态时序特征图，确定人体运动姿态的类别。
7、根据本申请的另一方面，提供了一种基于多特征融合的人体运动姿态识别系统，其包括：
8、加速度值获取模块，用于获取人体在运动过程中预定时间段内多个预定时间点的加速度值；
9、图像采集模块，用于获取所述人体在所述多个预定时间点的运动姿态监控图像；
10、特征提取与诱导融合模块，用于对所述多个预定时间点的加速度值和所述多个预定时间点的运动姿态监控图像进行特征提取与诱导融合以得到运动时序特征引导的运动姿态时序特征图；以及
11、类别分析模块，用于基于所述运动时序特征引导的运动姿态时序特征图，确定人体运动姿态的类别。
12、根据本申请的实施例，其首先获取人体在运动过程中预定时间段内多个预定时间点的加速度值，接着，获取所述人体在所述多个预定时间点的运动姿态监控图像，然后，对所述多个预定时间点的加速度值和所述多个预定时间点的运动姿态监控图像进行特征提取与诱导融合以得到运动时序特征引导的运动姿态时序特征图，最后，基于所述运动时序特征引导的运动姿态时序特征图，确定人体运动姿态的类别。这样，可以结合基于深度学习的图像处理技术，实现对人体运动姿态的识别。
13、根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。
本文档来自技高网...【技术保护点】
1.一种基于多特征融合的人体运动姿态识别方法，其特征在于，包括：
2.根据权利要求1所述的基于多特征融合的人体运动姿态识别方法，其特征在于，对所述多个预定时间点的加速度值和所述多个预定时间点的运动姿态监控图像进行特征提取与诱导融合以得到运动时序特征引导的运动姿态时序特征图，包括：
3.根据权利要求2所述的基于多特征融合的人体运动姿态识别方法，其特征在于，对所述多个预定时间点的加速度值和所述多个预定时间点的运动姿态监控图像进行数据结构化处理以得到加速度时序输入向量和运动姿态监控图像的序列，包括：
4.根据权利要求3所述的基于多特征融合的人体运动姿态识别方法，其特征在于，融合所述加速度时序输入向量和所述运动姿态监控图像的序列以得到所述运动时序特征引导的运动姿态时序特征图，包括：
5.根据权利要求4所述的基于多特征融合的人体运动姿态识别方法，其特征在于，所述基于三维卷积神经网络模型的运动姿态时序特征提取器包括输入层、三维卷积层、激活层、池化层和输出层。
6.根据权利要求5所述的基于多特征融合的人体运动姿态识别方法，其特征在于，
7.根据权利要求6所述的基于多特征融合的人体运动姿态识别方法，其特征在于，基于所述运动时序特征引导的运动姿态时序特征图，确定人体运动姿态的类别，包括：
8.根据权利要求7所述的基于多特征融合的人体运动姿态识别方法，其特征在于，所述人体运动姿态的类别标签，包括：静止、走、跑和跳。
9.根据权利要求8所述的基于多特征融合的人体运动姿态识别方法，其特征在于，还包括训练步骤：对所述基于三维卷积神经网络模型的运动姿态时序特征提取器、所述基于MetaNet的诱导融合模块和所述分类器进行训练；
10.一种基于多特征融合的人体运动姿态识别系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于多特征融合的人体运动姿态识别方法，其特征在于，包括：
2.根据权利要求1所述的基于多特征融合的人体运动姿态识别方法，其特征在于，对所述多个预定时间点的加速度值和所述多个预定时间点的运动姿态监控图像进行特征提取与诱导融合以得到运动时序特征引导的运动姿态时序特征图，包括：
3.根据权利要求2所述的基于多特征融合的人体运动姿态识别方法，其特征在于，对所述多个预定时间点的加速度值和所述多个预定时间点的运动姿态监控图像进行数据结构化处理以得到加速度时序输入向量和运动姿态监控图像的序列，包括：
4.根据权利要求3所述的基于多特征融合的人体运动姿态识别方法，其特征在于，融合所述加速度时序输入向量和所述运动姿态监控图像的序列以得到所述运动时序特征引导的运动姿态时序特征图，包括：
5.根据权利要求4所述的基于多特征融合的人体运动姿态识别方法，其特征在于，所述基于三维卷积神经网络模型的运动姿态时序特征提取器包括输入层...
【专利技术属性】
技术研发人员：贾国强，杭大明，叶健孝，程巧，
申请(专利权)人：浙江孚宝智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。