一种人体关键点识别方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种人体关键点识别方法、装置及电子设备。该方法包括：获取待识别人体关键点的目标图像；将目标图像输入至预先训练完成的神经网络模型，以使神经网络模型提取所述目标图像的特征矩阵，基于目标图像的特征矩阵识别目标图像中人体关键点的二维坐标，并基于目标图像的特征矩阵和目标图像中人体关键点的二维坐标，识别目标图像中人体关键点的三维坐标；获取神经网络模型所识别到的三维坐标，作为目标图像的人体关键点识别结果；神经网络模型为基于样本图像以及样本图像中人体关键点的真值三维坐标，所训练得到的模型。通过本方案可以实现提高人体关键点的三维坐标的识别精准度的目的。

A recognition method, device and electronic equipment for key points of human body

【技术实现步骤摘要】
一种人体关键点识别方法、装置及电子设备
本专利技术涉及图像处理
，特别是涉及一种人体关键点识别方法、装置及电子设备。
技术介绍
人体关键点识别是动作识别、异常行为检测、安防等的实现基础，其主要用于从给定的图像中定位人体的身体关键部位，例如头部、颈部、肩部、手部等部位。并且，为了反映人体在三维空间的运动状态，对于人体关键点的三维坐标的识别至关重要。现有技术中，在识别图像中人体关键点的三维坐标时，先利用预先训练的神经网络模型识别到人体关键点的二维坐标，然后，按照预定的转换公式将二维坐标转换为三维坐标，从而得到人体关键点的三维坐标。专利技术人在实现本专利技术的过程中发现，现有技术至少存在如下问题：现有技术将人体关键点的二维坐标转换为三维坐标时，仅仅利用二维坐标这种单一信息，导致人体关键点的三维坐标的识别精准度不高。
技术实现思路
本专利技术实施例的目的在于提供一种人体关键点识别方法、装置及电子设备，以实现提高人体关键点的三维坐标的识别精准度的目的。具体技术方案如下：在本专利技术实施例的一方面，提供了一种人体关键点识别方法，包括：获取待识别人体关键点的目标图像；将所述目标图像输入至预先训练完成的神经网络模型，以使所述神经网络模型提取所述目标图像的特征矩阵，基于所述目标图像的特征矩阵识别所述目标图像中人体关键点的二维坐标，并基于所述目标图像的特征矩阵和所述目标图像中人体关键点的二维坐标，识别所述目标图像中人体关键点的三维坐标；获取所述神经网络模型所识别到的三维坐标，作为所述目标图像的人体关键点识别结果；其中，所述神经网络模型为基于样本图像以及所述样本图像中人体关键点的真值三维坐标，所训练得到的模型；其中，所述神经网络模型包括：特征提取网络、第一识别网络和第二识别网络；所述特征提取网络用于提取所述样本图像的特征矩阵，所述第一识别网络用于基于所述样本图像的特征矩阵，识别所述样本图像中人体关键点的二维坐标，所述第二识别网络用于基于所述样本图像的特征矩阵，以及所述样本图像中人体关键点的二维坐标，识别所述样本图像中人体关键点的三维坐标。可选地，所述神经网络模型的训练过程包括：从样本图像库中，获取多个第一样本图像和多个第二样本图像；其中，所述第一样本图像为标注有人体关键点的真值二维坐标的样本图像，所述第二样本图像为标注有人体关键点的真值三维坐标的样本图像；针对所述神经网络模型中的目标子网络，基于所述多个第一样本图像和每个第一样本图像中人体关键点的真值二维坐标，对所述目标子网络进行训练，得到所述目标子网络的网络参数；其中，所述目标子网络包括所述特征提取网络和第一识别网络；在完成对所述目标子网络的训练之后，在训练得到的所述目标子网络的网络参数的基础上，基于所述多个第二样本图像和每个第二样本图像中人体关键点的真值三维坐标，对所述神经网络模型进行训练，得到用于识别人体关键点的三维坐标的神经网络模型。可选地，针对所述神经网络模型中的目标子网络，基于所述多个第一样本图像和每个第一样本图像中人体关键点的真值二维坐标，对所述目标子网络进行训练，得到所述目标子网络的网络参数，包括：针对所述神经网络模型中的目标子网络，将每个第一样本图像输入至所述目标子网络，得到每个第一样本图像中人体关键点的预测二维坐标；基于每个第一样本图像中人体关键点的真值二维坐标和预测二维坐标的差异，计算第一类损失值；基于所述第一类损失值，判断所述目标子网络是否收敛，如果判断结果为是，结束训练，得到训练完成的所述目标子网络的网络参数；否则，调整所述目标子网络的网络参数，继续训练所述目标子网络。可选地，所述基于所述多个第二样本图像和每个第二样本图像中人体关键点的真值三维坐标，对所述神经网络模型进行训练，包括：将每个第二样本图像输入至所述神经网络模型，得到每个第二样本图像中人体关键点的预测三维坐标；基于每个第二样本图像中人体关键点的真值三维坐标和预测三维坐标的差异，计算第二类损失值；基于所述第二类损失值，判断所述神经网络模型是否收敛，如果判断结果为是，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型中所述第二识别网络的网络参数，继续训练所述神经网络模型。可选地，所述第二识别网络包括：顺次连接的浅层网络组和第三浅网络，所述浅层网络组包括作为并列分支的第一浅层网络和第二浅层网络；所述第一浅层网络用于对所述特征提取网络所提取的特征矩阵进行编码，得到第一编码信息；所述第二浅层网络用于对所述第一识别网络输出的人体关键点的二维坐标进行编码，第二编码信息；所述第三浅层网络用于对所述第一编码信息和第二编码信息进行信息融合，并基于融合信息，生成所述样本图像中人体关键点的三维坐标。在本专利技术实施例的又一方面，还提供了一种人体关键点识别装置，包括：图像获取模块，用于获取待识别人体关键点的目标图像；坐标识别模块，用于将所述目标图像输入至预先训练完成的神经网络模型，以使所述神经网络模型提取所述目标图像的特征矩阵，基于所述目标图像的特征矩阵识别所述目标图像中人体关键点的二维坐标，并基于所述目标图像的特征矩阵和所述目标图像中人体关键点的二维坐标，识别所述目标图像中人体关键点的三维坐标；结果确定模块，用于获取所述神经网络模型所识别到的三维坐标，作为所述目标图像的人体关键点识别结果；其中，所述神经网络模型为基于样本图像以及所述样本图像中人体关键点的真值三维坐标，所训练得到的模型；其中，所述神经网络模型包括：特征提取网络、第一识别网络和第二识别网络；所述特征提取网络用于提取所述样本图像的特征矩阵，所述第一识别网络用于基于所述样本图像的特征矩阵，识别所述样本图像中人体关键点的二维坐标，所述第二识别网络用于基于所述样本图像的特征矩阵，以及所述样本图像中人体关键点的二维坐标，识别所述样本图像中人体关键点的三维坐标。可选地，所述神经网络模型通过模型训练模块训练得到，所述模型训练模块包括：图像获取子模块，用于从样本图像库中，获取多个第一样本图像和多个第二样本图像；其中，所述第一样本图像为标注有人体关键点的真值二维坐标的样本图像，所述第二样本图像为标注有人体关键点的真值三维坐标的样本图像；第一训练子模块，用于针对所述神经网络模型中的目标子网络，基于所述多个第一样本图像和每个第一样本图像中人体关键点的真值二维坐标，对所述目标子网络进行训练，得到所述目标子网络的网络参数；其中，所述目标子网络包括所述特征提取网络和第一识别网络；第二训练子模块，用于在完成对所述目标子网络的训练之后，在训练得到的所述目标子网络的网络参数的基础上，基于所述多个第二样本图像和每个第二样本图像中人体关键点的真值三维坐标，对所述神经网络模型进行训练，得到用于识别人体关键点的三维坐标的神经网络模型。可选地，所述第一训练子模块具体用于：针对所述神经网络模型中的目标子网络，将每个本文档来自技高网...

【技术保护点】
1.一种人体关键点识别方法，其特征在于，包括：/n获取待识别人体关键点的目标图像；/n将所述目标图像输入至预先训练完成的神经网络模型，以使所述神经网络模型提取所述目标图像的特征矩阵，基于所述目标图像的特征矩阵识别所述目标图像中人体关键点的二维坐标，并基于所述目标图像的特征矩阵和所述目标图像中人体关键点的二维坐标，识别所述目标图像中人体关键点的三维坐标；/n获取所述神经网络模型所识别到的三维坐标，作为所述目标图像的人体关键点识别结果；/n其中，所述神经网络模型为基于样本图像以及所述样本图像中人体关键点的真值三维坐标，所训练得到的模型；/n其中，所述神经网络模型包括：特征提取网络、第一识别网络和第二识别网络；所述特征提取网络用于提取所述样本图像的特征矩阵，所述第一识别网络用于基于所述样本图像的特征矩阵，识别所述样本图像中人体关键点的二维坐标，所述第二识别网络用于基于所述样本图像的特征矩阵，以及所述样本图像中人体关键点的二维坐标，识别所述样本图像中人体关键点的三维坐标。/n

【技术特征摘要】
1.一种人体关键点识别方法，其特征在于，包括：
获取待识别人体关键点的目标图像；
将所述目标图像输入至预先训练完成的神经网络模型，以使所述神经网络模型提取所述目标图像的特征矩阵，基于所述目标图像的特征矩阵识别所述目标图像中人体关键点的二维坐标，并基于所述目标图像的特征矩阵和所述目标图像中人体关键点的二维坐标，识别所述目标图像中人体关键点的三维坐标；
获取所述神经网络模型所识别到的三维坐标，作为所述目标图像的人体关键点识别结果；
其中，所述神经网络模型为基于样本图像以及所述样本图像中人体关键点的真值三维坐标，所训练得到的模型；
其中，所述神经网络模型包括：特征提取网络、第一识别网络和第二识别网络；所述特征提取网络用于提取所述样本图像的特征矩阵，所述第一识别网络用于基于所述样本图像的特征矩阵，识别所述样本图像中人体关键点的二维坐标，所述第二识别网络用于基于所述样本图像的特征矩阵，以及所述样本图像中人体关键点的二维坐标，识别所述样本图像中人体关键点的三维坐标。


2.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练过程包括：
从样本图像库中，获取多个第一样本图像和多个第二样本图像；其中，所述第一样本图像为标注有人体关键点的真值二维坐标的样本图像，所述第二样本图像为标注有人体关键点的真值三维坐标的样本图像；
针对所述神经网络模型中的目标子网络，基于所述多个第一样本图像和每个第一样本图像中人体关键点的真值二维坐标，对所述目标子网络进行训练，得到所述目标子网络的网络参数；其中，所述目标子网络包括所述特征提取网络和第一识别网络；
在完成对所述目标子网络的训练之后，在训练得到的所述目标子网络的网络参数的基础上，基于所述多个第二样本图像和每个第二样本图像中人体关键点的真值三维坐标，对所述神经网络模型进行训练，得到用于识别人体关键点的三维坐标的神经网络模型。


3.根据权利要求2所述的方法，其特征在于，针对所述神经网络模型中的目标子网络，基于所述多个第一样本图像和每个第一样本图像中人体关键点的真值二维坐标，对所述目标子网络进行训练，得到所述目标子网络的网络参数，包括：
针对所述神经网络模型中的目标子网络，将每个第一样本图像输入至所述目标子网络，得到每个第一样本图像中人体关键点的预测二维坐标；
基于每个第一样本图像中人体关键点的真值二维坐标和预测二维坐标的差异，计算第一类损失值；
基于所述第一类损失值，判断所述目标子网络是否收敛，如果判断结果为是，结束训练，得到训练完成的所述目标子网络的网络参数；否则，调整所述目标子网络的网络参数，继续训练所述目标子网络。


4.根据权利要求2所述的方法，其特征在于，所述基于所述多个第二样本图像和每个第二样本图像中人体关键点的真值三维坐标，对所述神经网络模型进行训练，包括：
将每个第二样本图像输入至所述神经网络模型，得到每个第二样本图像中人体关键点的预测三维坐标；
基于每个第二样本图像中人体关键点的真值三维坐标和预测三维坐标的差异，计算第二类损失值；
基于所述第二类损失值，判断所述神经网络模型是否收敛，如果判断结果为是，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型中所述第二识别网络的网络参数，继续训练所述神经网络模型。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述第二识别网络包括：
顺次连接的浅层网络组和第三浅网络，所述浅层网络组包括作为并列分支的第一浅层网络和第二浅层网络；
所述第一浅层网络用于对所述特征提取网络所提取的特征矩阵进行编码，得到第一编码信息；
所述第二浅层网络用于对所述第一识别网络输出的人体关键点的二维坐标进行编码，第二编码信息；
所述第三浅层网络用于对所述第一编码信息和第二编码信息进行信息融合，并基于融合信息，生成所述样本图像中人体关键点的三维坐标。


6.一种人体关键点识别装置，其特征在于，包括：
图像获取模块，用于获取待识别人体关键点的目标图像；
坐标识别模块，用于将所述目标图像输入至预先训练完成的神经网络模型，以使所述神经网络模型提取所述目标图像的特...

【专利技术属性】
技术研发人员：刘思阳，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11