基于多层次端到端神经网络的人类活动姿态识别方法技术

本发明专利技术公开了一种基于多层次端到端神经网络的人类活动姿态识别方法，包括以下步骤：采集人类活动姿态的带标签数据，采用滑窗切割所述带标签数据，得到数段等距的第一带标签数据窗，利用基于步态的数据增强算法处理所述第一带标签数据窗以获得数段第二带标签数据窗；采用所述第一带标签数据窗和第二带标签数据窗对多层次端到端神经网络训练。采集任一人类活动姿态的原始数据，并对所述原始数据进行滑窗切割，得到数段连续的待识别的动作数据窗；将所述待识别的动作数据窗依次导入经训练的多层次端对端神经网络，判别人类活动姿态的类型。本发明专利技术具有识别准确率高、计算复杂度低、功耗低等优点，在医疗技术、行为监督等领域具有广阔的市场前景。

【技术实现步骤摘要】
基于多层次端到端神经网络的人类活动姿态识别方法
本专利技术涉及医疗
，尤其是基于多层次端到端神经网络的人类活动姿态识别方法。
技术介绍
人类行为识别一直以来是十分热门的研究领域，它的目的是通过一系列的观察，对人的动作类型、行为模式进行分析和识别，并使用自然语言等方式对其加以描述。随着机器学习算法的突破，人类行为识别的准确率越来越高，这使得人类行为识别进入了生活的方方面面。人体行为识别技术具有广泛的应用前景和非常可观的经济价值，涉及的应用领域主要包括:视频监控、医疗诊断和监护、智能人机交互、虚拟现实等。在视频监控领域，传统的视频监控主要依赖于人力的监督识别，这使得对关键区域难以达到长期有效的监控。使用人类行为识别技术不仅可以对关键区域实现长期的有效的监控，还能识别介入视频的相关人员的行为，从而有针对地提出警告。在医疗监护领域，可以对老年人的摔倒，过久躺着等异常行为进行无人监控，准确及时地发出报警信号。另外，还可以对术后康复病人提供长期的步态监督和分析，有目的向病人和医生发生信息，辅助医生对病人的治疗。在人机交互和虚拟现实领域，能够分析更加复杂的用户动作，增加设备的沉浸感和娱乐性，进一步满足用户的需求。基于传感器的人类行为识别系统，首先是从放置在腰部，大腿处，脚踝，手腕等地方的加速计，陀螺仪，磁力计等一系列运动传感器中采集数据。接着，在对数据进行预处理之后使用KNN、SVM、RF、神经网络等方法分类判别。以识别常见的分类行为中的走路，跑步，上楼，下楼，曲臂等。传统的识别方法通常是在进行人类行为识别时，首先使用特征工程对原始的传感器数据手工地提取特征，以获得其时域、频域等特征，然后再使用经典的机器学习算法分类。也有一些研究人员在使用了特征工程后，再使用了神经网络算法来进行分类。这些方法在人类行为识别上取得了不错的效果的，但是使用特征工程存在以下不足之处：第一，通常需要提取大量复杂的特征，引入了大量的功耗。第二，当存在新的行为时，可能需要花费大量的精力去寻找新的特征。第三，限于人类的知识与经验缺陷，识别准确率往往是有限的。为了解决以上问题，不少研究人员使用了端到端的神经网络算法来进行人类行为识别。端到端的神经网络能够自动地学习特征，省去了寻找合适特征的麻烦，并且避免了人类先验知识的缺陷，其准确率较高。然而，现有的结构中存在有些行为特征相近，使得人类活动行为难以区分的情况。不仅如此，由于涉及到神经网络，计算复杂度比较高，而功耗也比较高，同时神经网络还需要大量的训练数据。
技术实现思路
针对上述问题，本专利技术的目的在于提供一种基于多层次端到端神经网络的人类活动姿态识别方法，本专利技术采用的技术方案如下：基于多层次端到端神经网络的人类活动姿态识别方法，采用数个布设在人体表面、且用于采集人类活动姿态的原始数据和带标签数据的运动传感器；所述运动传感器包括加速计、陀螺仪、磁力计，包括以下步骤：多层次端到端神经网络训练：利用运动传感器采集人类活动姿态的带标签数据，采用滑窗切割所述带标签数据，得到数段等距的第一带标签数据窗，利用基于步态的数据增强算法处理所述第一带标签数据窗以获得数段第二带标签数据窗；采用所述第一带标签数据和第二带标签数据窗对多层次端到端神经网络训练。分层次识别：利用所述运动传感器采集任一人类活动姿态的原始数据，并对所述原始数据进行滑窗切割，得到数段连续的待识别的动作数据窗；将所述待识别的动作数据窗依次导入经训练的多层次端对端神经网络，判别人类活动姿态的类型。进一步地，其中，利用基于步态的数据增强算法处理所述第一带标签数据窗以获得数段第二带标签数据窗，包括以下步骤：步骤S11，提取两段具有相同标签的第一带标签数据窗，从所述两段第一带标签数据窗中各选取任一一步态周期的数据。步骤S12，判断一步态周期的数据的时间长度，并以时间长度最长的一步态周期的数据为基准，采用插值法延伸剩余选取的一步态周期的数据，获得时间长度相同的一步态周期的数据。步骤S13，求得步骤S12中时间长度相同的一步态周期的数据的平均值，得到过渡的标签数据窗。步骤S14，采用周期延拓将所述步骤S13中过渡的标签数据窗延拓至第一带标签数据窗的长度，获得步骤S11中选取的任一一步态周期的数据对应的第二带标签数据窗。步骤S15，重复步骤S11至步骤S14，获得数段第二带标签数据窗。优选地，所述多层次端到端神经网络为p层次，所述p为大于等于2的正整数；其中，采用所述第一带标签数据窗和第二带标签数据窗对多层次端到端神经网络训练，包括以下步骤：步骤S21，所述运动传感器采集人类活动姿态的带标签数据、数段第一带标签数据窗和数段第二带标签数据窗内均设有m个原始动作行为标签；将所述原始动作行为标签分为n个第一动作行为标签和非第一动作行为标签，并将n个第一动作行为标签和非第一动作行为标签标记为第一层次标签；将所述第一层次标签对应的数据窗导入第一层次端到端神经网络，以实现第一层次端到端神经网络的训练；所述m为大于1的自然数，且所述n为大于0、且小于m的自然数。步骤S22，剔除R个第j-1动作行为标签，并将所述非第j-1动作行为标签分为W个第j动作行为标签和非第j动作行为标签，将W个第j动作行为标签和非第j动作行为标签标记为第j层次标签；将所述第j层次标签对应的数据窗导入第j层次端到端神经网络，以实现第j层次端到端神经网络的训练；所述R为大于0、且小于m的自然数；所述j为大于1、且小于等于p的自然数；所述W为大于0、且小于m的自然数；所述j等于2的动作行为标签即为第一动作行为标签。步骤S23，重复步骤S22，依次对多层次端到端神经网络进行训练。更进一步地，其中，将所述待识别的动作数据窗依次导入经训练的多层次端对端神经网络，判别人类活动姿态的类型，包括以下步骤：步骤S31，将所述待识别的动作数据窗导入第一层次端到端神经网络，判断所述待识别的动作数据窗是否为第一动作行为标签对应的第一行为，若是，则输出识别的第一行为；否则进入步骤S32。步骤S32，将所述待识别的动作数据窗导入第j-1层次端到端神经网络，判断所述待识别的动作数据窗是否为第j-1动作行为标签对应的第j-1行为，若是，则输出识别的第j-1行为；否则，将待识别的动作数据窗导入第j层次端到端神经网络；所述j为大于1、且小于等于p的自然数。步骤S33，重复步骤S32，直至待识别的动作数据窗识别完成。优选地，所述人类活动姿态的类型包括上楼、下楼、步行、慢跑、站立、坐。进一步地，所述标签数据窗内包括数个连续的数据点，且所述带标签数据滑窗切割，包括以下步骤：步骤S41，获取带标签数据，并以长度为l1切取带标签数据的起始端的数据，得到带标签数据的起始数据窗；所述l1为大于等于1的自然数。步骤S42，以带标签数据的第i个数据窗的的数据点为起点，长度为l1划分并获得带标签数据的第i+1个数据窗；所述i为大于等于1的自然数；所述M为大于等于1且小于l1的自然数；所述i等于1的数据窗即为带标签数据的起始数据窗。步骤S43，重复步骤S42，直至带标签数据切割完成，得到数段等距的第一带标签数据窗。更进一步地，所述待识别的动作数据窗内包括数个连续的数据点，且所述原始数据滑窗切割，包括以下步骤：步骤S51，获取原始数据，并以长度为l1切取本文档来自技高网...

【技术保护点】
1.基于多层次端到端神经网络的人类活动姿态识别方法，采用数个布设在人体表面、且用于采集人类活动姿态的原始数据和带标签数据的运动传感器；所述运动传感器包括加速计、陀螺仪、磁力计，其特征在于，包括以下步骤：多层次端到端神经网络训练：利用运动传感器采集人类活动姿态的带标签数据，采用滑窗切割所述带标签数据，得到数段等距的第一带标签数据窗，利用基于步态的数据增强算法处理所述第一带标签数据窗以获得数段第二带标签数据窗；采用所述第一带标签数据和第二带标签数据窗对多层次端到端神经网络训练；分层次识别：利用所述运动传感器采集任一人类活动姿态的原始数据，并对所述原始数据进行滑窗切割，得到数段连续的待识别的动作数据窗；将所述待识别的动作数据窗依次导入经训练的多层次端对端神经网络，判别人类活动姿态的类型。

【技术特征摘要】
1.基于多层次端到端神经网络的人类活动姿态识别方法，采用数个布设在人体表面、且用于采集人类活动姿态的原始数据和带标签数据的运动传感器；所述运动传感器包括加速计、陀螺仪、磁力计，其特征在于，包括以下步骤：多层次端到端神经网络训练：利用运动传感器采集人类活动姿态的带标签数据，采用滑窗切割所述带标签数据，得到数段等距的第一带标签数据窗，利用基于步态的数据增强算法处理所述第一带标签数据窗以获得数段第二带标签数据窗；采用所述第一带标签数据和第二带标签数据窗对多层次端到端神经网络训练；分层次识别：利用所述运动传感器采集任一人类活动姿态的原始数据，并对所述原始数据进行滑窗切割，得到数段连续的待识别的动作数据窗；将所述待识别的动作数据窗依次导入经训练的多层次端对端神经网络，判别人类活动姿态的类型。2.根据权利要求1所述的基于多层次端到端神经网络的人类活动姿态识别方法，其特征在于，其中，利用基于步态的数据增强算法处理所述第一带标签数据窗以获得数段第二带标签数据窗，包括以下步骤：步骤S11，提取两段具有相同标签的第一带标签数据窗，从所述两段第一带标签数据窗中各选取任一一步态周期的数据；步骤S12，判断一步态周期的数据的时间长度，并以时间长度最长的一步态周期的数据为基准，采用插值法延伸剩余选取的一步态周期的数据，获得时间长度相同的一步态周期的数据；步骤S13，求得步骤S12中时间长度相同的一步态周期的数据的平均值，得到过渡的标签数据窗；步骤S14，采用周期延拓将所述步骤S13中过渡的标签数据窗延拓至第一带标签数据窗的长度，获得步骤S11中选取的任一一步态周期的数据对应的第二带标签数据窗；步骤S15，重复步骤S11至步骤S14，获得数段第二带标签数据窗。3.根据权利要求1所述的基于多层次端到端神经网络的人类活动姿态识别方法，其特征在于，所述多层次端到端神经网络为p层次，所述p为大于等于2的正整数；其中，采用所述第一带标签数据窗和第二带标签数据窗对多层次端到端神经网络训练，包括以下步骤：步骤S21，所述运动传感器采集人类活动姿态的带标签数据、数段第一带标签数据窗和数段第二带标签数据窗内均设有m个原始动作行为标签；将所述原始动作行为标签分为n个第一动作行为标签和非第一动作行为标签，并将n个第一动作行为标签和非第一动作行为标签标记为第一层次标签；将所述第一层次标签对应的数据窗导入第一层次端到端神经网络，以实现第一层次端到端神经网络的训练；所述m为大于1的自然数，且所述n为大于0、且小于m的自然数；步骤S22，剔除R个第j-1动作行为标签，并将所述非第j-1动作行为标签分为W个第j动作行为标签和非第j动作行为标签，将W个第j动作行为标签和非第j动作行为标签标记为第j层次标签；将所述第j层次标签对应的数据窗导入第j层...

【专利技术属性】
技术研发人员：周军，黄家辉，
申请(专利权)人：周军，
类型：发明
国别省市：四川,51