一种基于人体姿态估计的跌到检测方法及装置制造方法及图纸

本发明专利技术涉及一种基于人体姿态估计的跌到检测方法及装置。本发明专利技术首先逐帧提取人体二维关键点；其次，分别对单帧的头部区域、腰部区域和脚部区域的人体二维关键点做简化处理，获得三个简化的人体关键点：头部关键点、腰部关键点和脚部关键点；然后，逐帧计算头

【技术实现步骤摘要】
一种基于人体姿态估计的跌到检测方法及装置


[0001]本专利技术涉及计算机视觉及模式识别
，具体涉及一种基于人体姿态估计的跌到检测方法及装置。

技术介绍

[0002]基于姿态估计的人体跌倒动作检测是计算机视觉技术中一个重要的研究与应用领域。相比于直接使用RGB视频数据进行动作分类，姿态估计得到的人体关键点数据量小，不易受到光照、视角等因素干扰，冗余度低且易于长序列数据的存储与传输。因此，基于姿态估计的关键点数据进行人体跌倒动作检测技术也拥有更强的鲁棒性与应用价值。目前的人体跌倒动作检测方法主要有以下三种：
[0003]（1）基于传感器和人工特征的动作检测方法。该类方法从人体动作的规律性出发，利用可穿戴的速度传感器获得人体关键点的运动速度，人工设计相应的模式特征用于简单动作的分类。例如通过人体关节的速度与加速度区分行走，躺下，坐下，跌倒等动作，或通过结点的运动幅度分跳跃，跑步等运动。基于人工特征的动作识别方法原理简单，易于实现，但鲁棒性较差，易受噪声数据的干扰，也不适用于更复杂的动作分类。
[0004]（2）基于RGB视频和深度卷积神经网络（CNN）的动作检测方法。该类方法利用CNN从RGB视频帧中提取人体表观特征与运动特征，通过3D卷积或时序池化（pooling）操作融合时序信息，从而训练端到端的人体动作检测模型。该方法对于跌倒动作有着较高的精度，同时对于复杂的人体动作也具有较强的鲁棒性，但需要大规模的数据训练。另外，CNN处理长序列视频的计算成本较高，使得该方法不适用于在边缘终端大规模应用。<br/>[0005]（3）基于高阶运动表示的多视觉模态融合动作检测算法。该类方法首先从RGB视频中提取光流、帧差等高阶表示，再融合多个深度神经网络模型综合处理多视觉模态数据。该类方法不易受到环境因素干扰，但其数据预处理的过程计算量大，融合多个模型的参数量大，无法做到实时人体跌倒监测。
[0006]上述三种方法均适用于检测多种人体动作，但对硬件设备的要求较高，例如需要额外的传感器，高性能的GPU或大规模的视频数据存储设备。因此，上述方法很难实际应用于低性能终端的人体跌倒检测。综上所述，开发一种针对跌到动作的轻量化人体动作检测方法具有十分重要的研究意义与应用价值。

技术实现思路

[0007]本专利技术针对现有技术中存在的技术问题，提供一种基于人体姿态估计的跌到检测方法及装置。
[0008]本专利技术解决上述技术问题的技术方案如下：
[0009]第一方面，本专利技术提供一种基于人体姿态估计的跌到检测方法，包括：
[0010]S1，逐帧提取人体二维关键点；
[0011]S2，分别对单帧的头部区域、腰部区域和脚部区域的人体二维关键点做简化处理，
获得三个简化的人体关键点：头部关键点、腰部关键点和脚部关键点；
[0012]S3，逐帧计算、、三条连线相对于水平坐标轴的夹角，并计算当前帧相对于上一帧的夹角变化量；
[0013]S4，利用连续多帧计算的夹角和夹角变化量构造特征向量，作为跌倒识别模型的输入，进行跌倒识别。
[0014]进一步的，所述步骤S1，包括：利用AlphaPose模型逐帧提取人体二维关键点，AlphaPose共输出17个人体关键点的二维坐标。
[0015]进一步的，所述步骤S2包括：
[0016]分别提取单帧的头部区域、腰部区域和脚部区域所包含的所有人体二维关键点；
[0017]对各区域所包含的人体二维关键点进行取平均处理，得到头部关键点、腰部关键点和脚部关键点。
[0018]进一步的，所述步骤S3还包括：组合单帧计算的、、三条连线相对于水平坐标轴的夹角、、，构成第一夹角特征向量，组合当前帧相对于上一帧的夹角变化量、、，构成第一夹角变化量特征向量。
[0019]进一步的，所述的步骤S4，包括：
[0020]将连续多帧对应的第一夹角特征向量拼接为第二夹角特征向量；
[0021]将连续多帧对应的第一夹角变化量特征向量拼接为第二夹角变化量特征向量；
[0022]将所述第二夹角特征向量和第二夹角变化量特征向量作为跌倒识别模型的输入，进行跌倒识别。
[0023]进一步的，所述跌倒识别模型采用多层感知机网络，其输出为跌倒分类得分，利用sigmoid函数得到人体跌倒的概率。
[0024]进一步的，所述、、三条连线相对于水平坐标轴的夹角取值范围为[0
°
，180
°
]。
[0025]第二方面，本专利技术提供一种基于人体姿态估计的跌到检测装置，包括：
[0026]关键点提取模块，逐帧提取人体二维关键点；
[0027]简化处理模块，分别对单帧的头部区域、腰部区域和脚部区域的人体二维关键点做简化处理，获得三个简化的人体关键点：头部关键点、腰部关键点和脚部关键点；
[0028]计算模块，逐帧计算、、三条连线相对于水平坐标轴的夹角，并计算当前帧相对于上一帧的夹角变化量；
[0029]特征构造及识别模块，利用连续多帧计算的夹角和夹角变化量构造特征向量，作为跌倒识别模型的输入，进行跌倒识别。
[0030]第三方面，本专利技术提供一种电子设备，包括：
[0031]存储器，用于存储计算机软件程序；
[0032]处理器，用于读取并执行所述计算机软件程序，进而实现本专利技术第一方面所述的
一种基于人体姿态估计的跌到检测方法。
[0033]第四方面，本专利技术提供一种非暂态计算机可读存储介质，所述存储介质中存储有计算机软件程序，所述计算机软件程序被处理器执行时实现如本专利技术第一方面所述的一种基于人体姿态估计的跌到检测方法。
[0034]本专利技术的有益效果是：（1）使用面广。新设计的人体姿态关键几何信息的提取方法和跌倒识别模型适用于复杂的视频数据，无需额外的传感器，对场景、光照、视角等因素要求低。对于质量较差的视频数据，若个别人体关键点的位置提取不准，丢失，本方法也具有一定的鲁棒性。符合实际应用的需求，应用面更广。
[0035]（2）效率高。相比于传统的直接利用RGB视频的人体动作检测。基于人体姿态关键几何信息的人体跌倒检测所需的数据量更小，计算效率更高，可以做到在轻量级硬件设备上实时检测。
[0036]（3）精度高。现有的基于RGB视频的人体动作检测模型依赖于大量训练数据，在实际使用中精度有限，且对场景有较多限制。本专利技术提出的基于人体姿态估计的跌到检测方法通过精细设计的与跌到相关的关键几何信息可以有效减少模型对于训练数据的依赖。在用少量数据训练多层感知机分类网络之后，就可以进行高精度地跌到检测。
[0037]本专利技术解决了传统方法易受噪声干扰，精度有限，效率较低的问题。
附图说明
[0038]图1为本专利技术实施例提供的一种基于人体姿态估计的跌到检测方法流程示意图；
[0039]图2为本专利技术实施例提供的人体二维关键点简化处理方法示意图；
[0040]图3为本专利技术实施例提供的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体姿态估计的跌到检测方法，其特征在于，包括：S1，逐帧提取人体二维关键点；S2，分别对单帧的头部区域、腰部区域和脚部区域的人体二维关键点做简化处理，获得三个简化的人体关键点：头部关键点、腰部关键点和脚部关键点；S3，逐帧计算、、三条连线相对于水平坐标轴的夹角，并计算当前帧相对于上一帧的夹角变化量；S4，利用连续多帧计算的夹角和夹角变化量构造特征向量，作为跌倒识别模型的输入，进行跌倒识别。2.根据权利要求1所述的方法，其特征在于，所述步骤S1，包括：利用AlphaPose模型逐帧提取人体二维关键点，AlphaPose共输出17个人体关键点的二维坐标。3.根据权利要求1所述的方法，其特征在于，所述步骤S2包括：分别提取单帧的头部区域、腰部区域和脚部区域所包含的所有人体二维关键点；对各区域所包含的人体二维关键点进行取平均处理，得到头部关键点、腰部关键点和脚部关键点。4.根据权利要求1所述的方法，其特征在于，所述步骤S3还包括：组合单帧计算的、、三条连线相对于水平坐标轴的夹角、、，构成第一夹角特征向量，组合当前帧相对于上一帧的夹角变化量、、，构成第一夹角变化量特征向量。5.根据权利要求4所述的方法，其特征在于，所述的步骤S4，包括：将连续多帧对应的第一夹角特征向量拼接为第二夹角特征向量；将连续多帧对应的第一夹角变化量特征向量拼接为第二夹角变化量特征向量；将所述第二夹角特征向量和第二夹角变化量特征向量作为跌...

【专利技术属性】
技术研发人员：谢兴，张嘉旭，高梓涛，
申请(专利权)人：苏州青宸科技有限公司，
类型：发明
国别省市：