一种人体骨骼关键点的检测方法及系统技术方案

本发明专利技术实施例提供一种人体骨骼关键点的检测方法及系统。其中，方法包括：将待测人体图像输入至训练后的人体骨骼关键点检测模型，根据输出结果，确定待测人体图像的人体骨骼关键点；其中，训练后的人体骨骼关键点检测模型由多级非对称神经网络所组成，多级非对称神经网络中的各级非对称神经网络的网络结构均相同，且均为使用空洞卷积替换卷积层和池化层的网络结构。本发明专利技术实施例提供的方法及系统，通过将待测人体图像输入至模型，并根据模型的输出结果确定人体骨骼关键点，模型采用非对称的多级重复网络结构，重编码，轻解码，能更多受益迁移学习的优势，利用降低通道数的方法，在不影响速度的情况下提升检测精度。

A Detection Method and System for Key Points of Human Skeleton

The embodiment of the invention provides a detection method and system for key points of human skeleton. Among them, the method includes: input the human body image to the key point detection model of human skeleton after training, and determine the key points of human skeleton according to the output results; among them, the key point detection model of human skeleton after training is composed of multi-level asymmetric neural network, and the network structure of all levels of asymmetric neural network in multi-level asymmetric neural network is uniform. Similarly, the network structures of the convolution layer and the pooling layer are replaced by the void convolution. The method and system provided by the embodiment of the present invention can benefit more from the advantages of migration learning by inputting the human body image to the model and determining the key points of human skeleton according to the output results of the model. The model adopts an asymmetrical multi-level repetitive network structure with heavy coding and light decoding, and improves the detection accuracy without affecting the speed by reducing the number of channels.

【技术实现步骤摘要】
一种人体骨骼关键点的检测方法及系统
本专利技术实施例涉及人体骨骼关键点检测
，尤其涉及一种人体骨骼关键点的检测方法及系统。
技术介绍
人体骨骼关键点指人体的固定部位的位置，包括眼睛、鼻子、肩、腰等，人体骨骼关键点对于描述人体姿态，预测人体行为至关重要，因此人体骨骼关键点检测是诸多计算机视觉任务的基础，例如动作分类、异常行为检测、自动驾驶等。近年来，随着深度学习技术的发展，人体骨骼关键点检测效果不断提升，已经开始广泛应用于计算机视觉的相关领域。基于深度学习的人体骨骼关键点检测方法主要分为两类：自上而下的检测方法和自下而上的检测方法。其中，自上而下的检测方法主要包含两个部分，人体检测和单人人体骨骼关键点检测，即首先通过目标检测算法将原始图像中的每一个人检测出来，然后再针对单个人做人体骨骼关键点检测，其中代表性算法有G-RMI、CFN、RMPE、MaskR-CNN和CPN等，目前在MSCOCO数据集上进行检测所达到的最高精度为72.6％；自下而上的检测方法也主要包含两个部分，关键点检测和关键点聚类，即首先将原始图像中所有的关键点都检测出来，然后通过相关策略将所有的关键点聚类成不同的个体，其中对关键点之间关系进行建模的代表性算法有PAF、AssociativeEmbedding、PartSegmentation和Mid-Rangeoffsets等，目前在MSCOCO数据集上进行检测所达到的最高精度为68.7％。相比之下，自上而下的检测方法有着更高的检测精度。对于自上而下的检测方法中的单人人体骨骼关键点检测，由于关键点局部信息的区分性很弱、不同关键点的检测的难易程度是不一样以及人体骨骼关键点定位较依赖于算法，因此，会出现检测不准和重复检测等问题。
技术实现思路
针对现有技术中存在的技术问题，本专利技术实施例提供一种人体骨骼关键点的检测方法及系统。第一方面，本专利技术实施例提供一种人体骨骼关键点的检测方法，包括：将待测人体图像输入至训练后的人体骨骼关键点检测模型，获取所述训练后的人体骨骼关键点检测模型的输出结果；根据所述输出结果，确定所述待测人体图像的人体骨骼关键点；其中，所述训练后的人体骨骼关键点检测模型由多级非对称神经网络所组成，所述多级非对称神经网络中的各级非对称神经网络的网络结构均相同，且均为使用空洞卷积替换卷积层和池化层的网络结构。第二方面，本专利技术实施例提供一种人体骨骼关键点的检测系统，包括：输出结果获取模块，用于将待测人体图像输入至训练后的人体骨骼关键点检测模型，获取所述训练后的人体骨骼关键点检测模型的输出结果；人体骨骼关键点确定模块，用于根据所述输出结果，确定所述待测人体图像的人体骨骼关键点；其中，所述训练后的人体骨骼关键点检测模型由多级非对称神经网络所组成，所述多级非对称神经网络中的各级非对称神经网络的网络结构均相同，且均为使用空洞卷积替换卷积层和池化层的网络结构。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。本专利技术实施例提供的一种人体骨骼关键点的检测方法及系统，通过将待测人体图像输入至训练后的人体骨骼关键点检测模型，并获取输出结果，以根据输出结果，确定待测人体图像的人体骨骼关键点，相较于主流方法，模型采用非对称的网络结构，重编码，轻解码，能更多受益迁移学习的优势，并且，模型采用多级重复结构，利用降低通道数的方法，在不影响速度的情况下提升精度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种人体骨骼关键点的检测方法流程图；图2为本专利技术实施例提供的一种人体骨骼关键点的检测系统的结构示意图；图3为本专利技术实施例提供的一种电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的一种人体骨骼关键点的检测方法流程图，如图1所示，该方法包括：步骤101，将待测人体图像输入至训练后的人体骨骼关键点检测模型，获取所述训练后的人体骨骼关键点检测模型的输出结果；步骤102，根据所述输出结果，确定所述待测人体图像的人体骨骼关键点；其中，所述训练后的人体骨骼关键点检测模型由多级非对称神经网络所组成，所述多级非对称神经网络中的各级非对称神经网络的网络结构均相同，且均为使用空洞卷积替换卷积层和池化层的网络结构。可以理解的是，待测人体图像为待检测出人体骨骼关键点的包含人体的图像，优选为单人图像，即包含一个人的图像。将该待测人体图像输入至训练后的人体骨骼关键点检测模型中，并获取该模型的输出结果，并根据输出结果，确定待测人体图像的人体骨骼关键点。其中，该模型为神经网络模型，包括多级神经网络，即多个神经网络，每个神经网络的网络结构均相同，且均为非对称结构。需要说明的是，此处的非对称结构为将通常意义上的神经网络的卷积层和池化层这个整体替换为空洞卷积所得到的网络结构，其中，空洞卷积相比较一般卷积，能够利用间隔位置获得更大的感受野。将多级优选为两级，即本专利技术实施例中的训练后的人体骨骼关键点检测模型由两级神经网络所组成。两级神经网络均采用相同网络结构，但这种结构是一种非对称的结构，对比主流方法，利用空洞卷积替换掉了一般卷积层+池化层的结构，从而在增加感受野的条件下来提高空间分辨率，同时随着网络深度的增加并没有增加通道数，减少了运算量。为了进一步解决在关键点问题中对于困难遮挡点的检测，本专利技术实施例用两级的重复结构去提升精度，而不是单纯地增加网络的深度，同时将通道数进一步地减少，使得两级的结构相比较单级结构，运算量没有增加，但精度大大地提升了。采用的非对称结构，有着更大的编码部分，更少的解码部分，使得整体上是重编码，轻解码的结构，在实际应用中，通过对大量数据的训练，充分发挥更大的编码结构的优势，充分学习，在实际应用当用于其他的关键点问题，也能更多受益迁移学习的优势。本专利技术实施例提供的方法，通过将待测人体图像输入至训练后的人体骨骼关键点检测模型，并获取输出结果，以根据输出结果，确定待测人体图像的人体骨骼关键点，相较于主流方法，模型采用非对称的网络结构，重编码，轻解码，能更多受益迁移学习的优势，并且，模型采用多级重复结构，利用降低通道数的方法，在不影响速度的情况下提升精度。在上述各实施例的基础上，所述输出结果为所述待测人体图像的热力图集合和对应的回归图集合；其中，所述热力图集合携带有所述待测人体图像的多个人体骨骼关键点的位置信息，所述回归图集合用于对多个本文档来自技高网...

【技术保护点】
1.一种人体骨骼关键点的检测方法，其特征在于，包括：将待测人体图像输入至训练后的人体骨骼关键点检测模型，获取所述训练后的人体骨骼关键点检测模型的输出结果；根据所述输出结果，确定所述待测人体图像的人体骨骼关键点；其中，所述训练后的人体骨骼关键点检测模型由多级非对称神经网络所组成，所述多级非对称神经网络中的各级非对称神经网络的网络结构均相同，且均为使用空洞卷积替换卷积层和池化层的网络结构。

【技术特征摘要】
1.一种人体骨骼关键点的检测方法，其特征在于，包括：将待测人体图像输入至训练后的人体骨骼关键点检测模型，获取所述训练后的人体骨骼关键点检测模型的输出结果；根据所述输出结果，确定所述待测人体图像的人体骨骼关键点；其中，所述训练后的人体骨骼关键点检测模型由多级非对称神经网络所组成，所述多级非对称神经网络中的各级非对称神经网络的网络结构均相同，且均为使用空洞卷积替换卷积层和池化层的网络结构。2.根据权利要求1所述的方法，其特征在于，所述输出结果为所述待测人体图像的热力图集合和对应的回归图集合；其中，所述热力图集合携带有所述待测人体图像的多个人体骨骼关键点的位置信息，所述回归图集合用于对多个所述位置信息进行修正。3.根据权利要求2所述的方法，其特征在于，所述根据所述输出结果，确定所述待测人体图像的人体骨骼关键点，包括：获取所述热力图集合中每一热力图所包含的一个人体骨骼关键点的位置信息，组成第一人体骨骼关键点集合；在所述回归图集合中，确定所述第一人体骨骼关键点集合中每一人体骨骼关键点对应的回归图，以对每一人体骨骼关键点的位置信息进行修正。4.根据权利要求1所述的方法，其特征在于，所述将待测人体图像输入至训练后的人体骨骼关键点检测模型，之前还包括：通过数据扩充方法获取训练数据集；通过所述训练数据集对所述人体骨骼关键点检测模型进行训练，得到训练后的人体骨骼关键点检测模型。5.根据权利要求4所述的方法，其特征在于，所述通过数据扩充获取训练数据集，包括：通过水平翻转、上下翻转、旋转预设角度、随机缩放、随机裁剪以及添加噪声中的一种或多种方法获取训练数据集。6.根据权利要求4所述的方法，其特征在于，所述通过所述训练数据集对所述...

【专利技术属性】
技术研发人员：白帅，董远，白洪亮，熊风烨，
申请(专利权)人：北京飞搜科技有限公司，
类型：发明
国别省市：北京,11