人体骨骼关键点的检测方法、装置、电子设备及存储介质制造方法及图纸

本申请是关于一种人体骨骼关键点的检测方法、装置、电子设备及存储介质。所述人体骨骼关键点的检测方法包括：获取原始图像，其中，所述原始图像包括多个人体骨骼关键点；建立多个沙漏网络；以及在所述多个沙漏网络中，基于所述多个人体骨骼关键点的特征图对应的多个权重值，对所述多个人体骨骼关键点的所述特征图进行深层特征学习，得到所述多个人体骨骼关键点的热力图。基于Senet算法学习，在人体骨骼关键点的检测过程中引入注意机制，提高了学习到的多个人体骨骼关键点的特征图的准确度，从而提高了人体骨骼关键点的检测的准确性。

Detection methods, devices, electronic devices and storage media for key points of human skeleton

This application relates to a detection method, device, electronic equipment and storage medium for key points of human skeleton. The detection method of the key points of human skeleton includes: acquiring the original image, in which the original image includes multiple key points of human skeleton; establishing multiple hourglass networks; and deeply characterizing the feature maps of the key points of human skeleton based on the multiple weight values corresponding to the feature maps of the key points of human skeleton in the multiple hourglass networks. The thermodynamic charts of the key points of the human skeleton are obtained by consulting learning. Based on Snent algorithm learning, attention mechanism is introduced into the detection process of key points of human skeleton, which improves the accuracy of feature maps of several key points of human skeleton, and thus improves the detection accuracy of key points of human skeleton.

【技术实现步骤摘要】
人体骨骼关键点的检测方法、装置、电子设备及存储介质
本申请属于计算机软件应用领域，尤其是人体骨骼关键点的检测方法、装置、电子设备及存储介质。
技术介绍
人体骨骼关键点对于描述人体姿态，预测人体行为至关重要。因此人体骨骼关键点的检测是诸多计算机视觉任务的基础，例如动作分类，异常行为检测，以及自动驾驶等等。人体骨骼关键点的检测，主要检测人体的一些关键点，如关节、四肢、五官等，通过关键点描述人体姿态信息。由于人体具有相当的柔性，会出现各种姿态和形状，人体任何一个部位的微小变化都会产生一种新的姿态。同时，其关键点的可见性受穿着、姿态、视角等影响非常大，而且还面临着遮挡、光照、雾等环境的影响。相关技术中，人体骨骼关键点的检测方法是基于StackedHourglass算法的变形或者改进，但是该算法具有处理速度较慢的问题，很难应用于嵌入式手机设备。
技术实现思路
为克服相关技术中存在的问题，本申请公开一种人体骨骼关键点的检测方法，在构建的多个沙漏网络中，基于多个人体骨骼关键点的特征图对应的多个权重值，对多个人体骨骼关键点的特征图进行深层特征学习，得到多个人体骨骼关键点的热力图。基于Senet算法学习，本文档来自技高网...

【技术保护点】
1.一种人体骨骼关键点的检测方法，其特征在于，包括：获取原始图像，其中，所述原始图像包括多个人体骨骼关键点；建立多个沙漏网络；以及在所述多个沙漏网络中，基于所述多个人体骨骼关键点的特征图对应的多个权重值，对所述多个人体骨骼关键点的所述特征图进行深层特征学习，得到所述多个人体骨骼关键点的热力图。

【技术特征摘要】
1.一种人体骨骼关键点的检测方法，其特征在于，包括：获取原始图像，其中，所述原始图像包括多个人体骨骼关键点；建立多个沙漏网络；以及在所述多个沙漏网络中，基于所述多个人体骨骼关键点的特征图对应的多个权重值，对所述多个人体骨骼关键点的所述特征图进行深层特征学习，得到所述多个人体骨骼关键点的热力图。2.根据权利要求1所述的人体骨骼关键点的检测方法，其特征在于，还包括：对所述原始图像进行多次下采样，得到第一图像；优选地，所述人体骨骼关键点的检测方法，还包括：对所述原始图像分别进行多次最大池化采样和多次平均池化采样；优选地，所述对所述原始图像分别进行多次最大池化采样和多次平均池化采样，包括：对所述原始图像分别进行最大池化采样和平均池化采样，得到第一最大池化图像和第一平均池化图像；对所述第一最大池化图像和所述第一平均池化图像分别进行最大池化采样和平均池化采样，得到第二最大池化图像和第二平均池化图像；对所述第二最大池化图像和所述第二平均池化图像分别进行最大池化采样和平均池化采样，得到第三最大池化图像和第三平均池化图像；以及对所述第三最大池化图像和所述第三平均池化图像分别进行最大池化采样和平均池化采样，得到第四最大池化图像和第四平均池化图像。3.根据权利要求2所述的人体骨骼关键点的检测方法，其特征在于，所述建立多个沙漏网络，包括：建立第一沙漏网络；建立第二沙漏网络；其中，所述第一沙漏网络和所述第二沙漏网络是二阶沙漏网络；优选地，在每一个沙漏网络中，每次下采样之前，从卷积路分出一路跳级路来保留原尺度的所述多个人体骨骼关键点的特征图；第一次下采样之后将所述第三最大池化图像和所述第三平均池化图像插入所述卷积路；第二次下采样之后将所述第四最大池化图像和所述第四平均池化图像插入所述卷积路；每次上采样之后，将所述卷积路的所述多个人体骨骼关键点的特征图和所述跳级路的上一尺度的所述多个人体骨骼关键点的特征图融合；两次下采样之间包括：多个卷积模块和多个注意机制模块，；两次上采样之间包括：卷积模块；下采样和上采样之间包括：多个卷积模块和多个注意机制模块；以及每条跳级路包括：多个卷积模块和多个注意机制模块；优选地，所述注意机制模块中包括：全局池化层、多个全连接层和非线性激活层。4.根据权利要求3所述的人体骨骼关键点的检测方法，其特征在于，所述在所述多个沙漏网络中，基于所述多个人体骨骼关键点的特征图对应的多个权重值，对所述多个人体骨骼关键点的所述特征图进行深层特征学习，得到所述多个人体骨骼关键点的热力图，包括：将所述第一图像、所述第二最大池化图像和所述第二平均池化图...

【专利技术属性】
技术研发人员：谷继力，张雷，郑文，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11