人体姿态识别方法及装置制造方法及图纸

本发明专利技术提供一种人体姿态识别方法及装置，所述方法包括：提供待处理图像；对所述待处理图像进行目标检测处理，以得到一个或多个第一头部检测框；对所述第一头部检测框进行关键点计算处理，以得到多个第一头部关键点信息；对所述待处理图像进行自下而上识别处理，以得到一个或多个第二人体姿态信息；从所述第二人体姿态信息中提取第二头部关键点信息和第一躯干关键点信息；对所述第一头部关键点信息和所述第二头部关键点信息进行融合，得到融合后的第三头部关键点信息；将所述第三头部关键点信息和所述第一躯干关键点信息作为人体姿态识别结果。本发明专利技术可以提高人体姿态识别的准确率。

Human Pose Recognition Method and Device

The invention provides a human body attitude recognition method and device, which includes: providing an image to be processed; performing target detection processing on the image to be processed to obtain one or more first head detection frames; calculating and processing the key points of the first head detection frame to obtain multiple first head key points information; and performing bottom-up processing on the image to be processed. Recognition processing to obtain one or more second human body posture information; extracting the second head key point information and the first trunk key point information from the said two human body posture information; fusing the first head key point information and the second head key point information to obtain the fused third head key point information; and combining the third head key point information and the said third head key point information. The key point information of the first trunk is used as the result of human posture recognition. The invention can improve the accuracy of human body attitude recognition.

【技术实现步骤摘要】
人体姿态识别方法及装置
本专利技术涉及计算机视觉
，尤其涉及一种人体姿态识别方法、人体姿态识别装置、电子设备和计算机可读存储介质。
技术介绍
近年来，基于人工智能的计算机视觉技术得到快速发展，人体姿态识别作为其中的一个重要方向，在机器人交互、游戏、动画、行为识别、安防监控等多个领域都有较大的应用前景。现有技术中人体姿态识别技术主要包括两个大类：一类是自上而下的识别方法，即：先定位人体大概位置，再对姿态进行具体识别。最常用的是先采用目标检测的方法得到图像中每个人的位置框，然后在检测框的基础上针对单个人做人体骨骼关键点检测，最终得到整个人体姿态，主要有CPM、RMPE、mask-RCNN、G-RMI等方法。另一类是自下而上的识别方法，即：这种方法是先找到所有肢体，然后将肢体进行组合，主要步骤是将图像中所有关键点都检测出来，然后通过相关策略将所有的关键点聚类成不同的个体。典型的代表是：采用人体姿态热力图Heatmaps或回归关键点坐标计算人体姿态的每个关键点信息；采用部分亲和场(PartAffinityFields，PAF)将计算的关键点之间进行连接；当识别出多个人时，采用图论的二分图求解方法得到每个人的人体姿态信息。但是以上两类方法都存在识别准确率低的问题：第一类自上而下的方法中先检查个体，再识别姿态的方法，其步骤是相互分离没有内在联系的，这使得姿态识别严重依赖前一步检测定位的结果；第二类自下而上的方法中先检测所有人体关键点，然后通过聚类算法对这些关键点进行连接，从而形成完整的个体，该方法中这些被检测出的关键点，对于人体靠的比较近时效果非常不理想，很多情况下会将一个人的关键点连接到另一个人体上，且该方法无法从全局特征去发现身体部件。因此，如何提高人体姿态识别的准确率成为本领域技术人员亟待解决的技术问题之一。
技术实现思路
本专利技术解决的问题是如何提高人体姿态识别的准确率。为解决上述问题，本专利技术实施例提供一种人体姿态识别方法，包括：提供待处理图像；对所述待处理图像进行目标检测处理，以得到一个或多个第一头部检测框；对所述第一头部检测框进行关键点计算处理，以得到多个第一头部关键点信息；对所述待处理图像进行自下而上识别处理，以得到一个或多个第二人体姿态信息；从所述第二人体姿态信息中提取第二头部关键点信息和第一躯干关键点信息；对所述第一头部关键点信息和所述第二头部关键点信息进行融合，得到融合后的第三头部关键点信息；将所述第三头部关键点信息和所述第一躯干关键点信息作为人体姿态识别结果。可选地，所述方法还包括：提供训练图像数据集，所述训练图像数据集包括多张训练图像；分别采用人工方式在每张所述训练图像中标注第四头部关键点信息，并根据所述第四头部关键点信息计算确定第二头部检测框；对每张所述训练图像进行目标检测处理，以得到一个或多个第三头部检测框；对所述第三头部检测框进行关键点计算处理，以得到多个第五头部关键点信息；根据所述第二头部检测框以及对应的所述第三头部检测框进行第一深度学习，以获得目标检测深度学习模型；根据所述第四头部关键点信息以及对应的所述第五头部关键点信息进行第二深度学习，以获得关键点计算深度学习模型；采用所述目标检测深度学习模型对所述待处理图像进行目标检测处理，采用所述关键点计算深度学习模型对所述待处理图像进行关键点计算处理。可选地，所述目标检测处理采用Faster-RCNN或SSD。可选地，所述关键点计算处理包括：采用人体姿态热力图或回归关键点坐标计算人体姿态的每个关键点信息；根据计算的每个关键点信息获知人体的头部姿态；当所述人体的头部姿态为正面或背面时，分别将头部检测框各边的中点作为四个头部关键点；当所述人体的头部姿态为左侧面时，将头部检测框右侧纵向边的中点、左下顶点以及上侧横向边的中点作为三个头部关键点；当所述人体的头部姿态为右侧面时，将头部检测框左侧纵向边的中点、右下顶点以及上侧横向边的中点作为三个头部关键点。可选地，所述关键点计算处理包括：采用人体姿态热力图或回归关键点坐标计算人体姿态的每个关键点信息；根据计算的每个关键点信息获知人体的头部姿态；当所述人体的头部姿态为侧面时，对头部检测框进行横向扩展处理，得到扩展后的头部检测框；当所述人体的头部姿态为正面或背面时，分别将头部检测框各边的中点作为四个头部关键点；当所述人体的头部姿态为左侧面时，将扩展后的头部检测框右侧纵向边的中点、左下顶点以及上侧横向边的中点作为三个初步头部关键点；当所述人体的头部姿态为右侧面时，将扩展后的头部检测框左侧纵向边的中点、右下顶点以及上侧横向边的中点作为三个初步头部关键点信息；当所述人体的头部姿态为侧面时，对所述初步头部关键点信息进行与所述横向扩展处理相应的横向敛缩处理，以得到头部关键点信息。可选地，采用人工方式在每张所述训练图像中标注第四头部关键点信息包括：当所述训练图像中人体为正面或背面时，将头顶、左耳、右耳和下巴作为四个第四头部关键点；当所述训练图像中人体为左侧面时，将头顶、左耳和下巴作为三个第四头部关键点；当所述训练图像中人体为右侧面时，将头顶、右耳和下巴作为三个第四头部关键点；根据所述第四头部关键点信息计算确定第二头部检测框包括：当所述训练图像中人体为正面或背面时，以四个第四头部关键点为第四头部检测框四个边的中点，从而确定所述第二头部检测框；当所述训练图像中人体为左侧面时，以头顶对应的所述第四头部关键点作为第四头部检测框上侧横向边的中点、左耳对应的所述第四头部关键点作为第四头部检测框右侧纵向边的中点、下巴对应的所述第四头部关键点作为第四头部检测框左下顶点，从而确定所述第二头部检测框；当所述训练图像中人体为右侧面时，以头顶对应的所述第四头部关键点作为第四头部检测框上侧横向边的中点、右耳对应的所述第四头部关键点作为第四头部检测框左侧纵向边的中点、下巴对应的所述第四头部关键点作为第四头部检测框右下顶点，从而确定所述第二头部检测框。可选地，所述自下而上识别处理包括：采用人体姿态热力图或回归关键点坐标计算人体姿态的每个关键点信息；采用部分亲和场将计算的关键点之间进行连接；当识别出多个人时，采用图论的二分图求解方法得到每个人的人体姿态信息。可选地，对所述第一头部关键点信息和所述第二头部关键点信息进行融合包括采用以下方式：其中，fk(xi)为融合后的第k个第三头部关键点对应的第i个像素的高斯分布值，G为双线性插值函数，R为头部关键点对应分布像素区域的半径，lk为第k个第二头部关键点对应的像素的位置坐标值，xi为第k个第二头部关键点对应的第i个像素的高斯分布值，xj为第k个第一头部关键点对应的第j个分布像素的位置坐标值，Lk为第k个第一头部关键点对应的像素的位置坐标值。可选地，所述方法还包括：计算所述人体姿态识别结果的识别准确率，具体包括：设置多个不同的OKS阈值，分别计算每个人体关键点在每个OKS阈值下的精度，并将所有OKS阈值下的精度的第一加权求和值作为第一精度；设置多个不同的IOU阈值，分别计算第四头部关键点信息以及对应的第五头部关键点在每个IOU阈值下的精度，并将所有IOU阈值下的精度的第二加权求和值作为第二精度；对所述第一精度和所述第二精度进行加权求和，以得到第三精度。为解决上述技术问题，本专利技术实施例还提供了一种本文档来自技高网...

【技术保护点】
1.一种人体姿态识别方法，其特征在于，包括：提供待处理图像；对所述待处理图像进行目标检测处理，以得到一个或多个第一头部检测框；对所述第一头部检测框进行关键点计算处理，以得到多个第一头部关键点信息；对所述待处理图像进行自下而上识别处理，以得到一个或多个第二人体姿态信息；从所述第二人体姿态信息中提取第二头部关键点信息和第一躯干关键点信息；对所述第一头部关键点信息和所述第二头部关键点信息进行融合，得到融合后的第三头部关键点信息；将所述第三头部关键点信息和所述第一躯干关键点信息作为人体姿态识别结果。

【技术特征摘要】
1.一种人体姿态识别方法，其特征在于，包括：提供待处理图像；对所述待处理图像进行目标检测处理，以得到一个或多个第一头部检测框；对所述第一头部检测框进行关键点计算处理，以得到多个第一头部关键点信息；对所述待处理图像进行自下而上识别处理，以得到一个或多个第二人体姿态信息；从所述第二人体姿态信息中提取第二头部关键点信息和第一躯干关键点信息；对所述第一头部关键点信息和所述第二头部关键点信息进行融合，得到融合后的第三头部关键点信息；将所述第三头部关键点信息和所述第一躯干关键点信息作为人体姿态识别结果。2.如权利要求1所述的方法，其特征在于，还包括：提供训练图像数据集，所述训练图像数据集包括多张训练图像；分别采用人工方式在每张所述训练图像中标注第四头部关键点信息，并根据所述第四头部关键点信息计算确定第二头部检测框；对每张所述训练图像进行目标检测处理，以得到一个或多个第三头部检测框；对所述第三头部检测框进行关键点计算处理，以得到多个第五头部关键点信息；根据所述第二头部检测框以及对应的所述第三头部检测框进行第一深度学习，以获得目标检测深度学习模型；根据所述第四头部关键点信息以及对应的所述第五头部关键点信息进行第二深度学习，以获得关键点计算深度学习模型；采用所述目标检测深度学习模型对所述待处理图像进行目标检测处理，采用所述关键点计算深度学习模型对所述待处理图像进行关键点计算处理。3.如权利要求1或2所述的方法，其特征在于，所述目标检测处理采用Faster-RCNN或SSD。4.如权利要求1或2所述的方法，其特征在于，所述关键点计算处理包括：采用人体姿态热力图或回归关键点坐标计算人体姿态的每个关键点信息；根据计算的每个关键点信息获知人体的头部姿态；当所述人体的头部姿态为正面或背面时，分别将头部检测框各边的中点作为四个头部关键点；当所述人体的头部姿态为左侧面时，将头部检测框右侧纵向边的中点、左下顶点以及上侧横向边的中点作为三个头部关键点；当所述人体的头部姿态为右侧面时，将头部检测框左侧纵向边的中点、右下顶点以及上侧横向边的中点作为三个头部关键点。5.如权利要求1或2所述的方法，其特征在于，所述关键点计算处理包括：采用人体姿态热力图或回归关键点坐标计算人体姿态的每个关键点信息；根据计算的每个关键点信息获知人体的头部姿态；当所述人体的头部姿态为侧面时，对头部检测框进行横向扩展处理，得到扩展后的头部检测框；当所述人体的头部姿态为正面或背面时，分别将头部检测框各边的中点作为四个头部关键点；当所述人体的头部姿态为左侧面时，将扩展后的头部检测框右侧纵向边的中点、左下顶点以及上侧横向边的中点作为三个初步头部关键点；当所述人体的头部姿态为右侧面时，将扩展后的头部检测框左侧纵向边的中点、右下顶点以及上侧横向边的中点作为三个初步头部关键点信息；当所述人体的头部姿态为侧面时，对所述初步头部关键点信息进行与所述横向扩展处理相应的横向敛缩处理，以得到头部关键点信息。6.如权利要求2所述的方法，其特征在于，采用人工方式在每张所述训练图像中标注第四头部关键点信息包括：当所述训练图像中人体为正面或背面时，将头顶、左耳、右耳和下巴作为四个第四头部关键点；当所述训练图像中人体为左侧面时，将头顶、左耳和下巴作为三个第四头部关键点；当所述训练图像中人体为右侧面时，将头顶、右耳和下巴作为...

【专利技术属性】
技术研发人员：谌贵雄，张波，陈成才，
申请(专利权)人：上海智臻智能网络科技股份有限公司，
类型：发明
国别省市：上海,31