一种人体关键点识别方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种人体关键点识别方法、装置及电子设备，应用于图像处理技术领域。该人体关键点识别方法包括：获得待识别人体关键点的目标图像；获得所述目标图像的人像蒙版；利用预先训练的神经网络模型，以所述目标图像的人像蒙版作为先验信息，对所述目标图像进行关键点信息识别，得到所述目标图像中每个人体关键点的热度图；其中，所述神经网络模型为利用样本图像和所述样本图像中每个人体关键点的真值热度图，并以所述样本图像的人像蒙版作为先验信息，所训练的模型；基于所述目标图像中每个人体关键点的热度图，确定所述目标图像中每个人体关键点的坐标。通过本方案可以提高人体关键点的识别速率。

A recognition method, device and electronic equipment for key points of human body

【技术实现步骤摘要】
一种人体关键点识别方法、装置及电子设备
本专利技术涉及图像处理
，特别是涉及一种人体关键点识别方法、装置及电子设备。
技术介绍
人体关键点识别是动作识别、异常行为检测、安防等的实现基础，其主要用于从给定的图像中定位人体的身体关键部位，例如头部、颈部、肩部、手部等部位。现有技术中，在识别人体关键点时，将待识别人体关键点的目标图像输入至预先训练完成的神经网络模型，得到目标图像中每个人体关键点的热度图heatmap；进而，基于每个人体关键点的热度图，计算每个人体关键点的坐标。其中，任一人体关键点的热度图为该人体关键点可能存在的位置的概率分布图。专利技术人在实现本专利技术的过程中发现，现有技术至少存在如下问题：神经网络模型的处理速率较低，最终导致人体关键点的识别速率较低。
技术实现思路
本专利技术实施例的目的在于提供一种人体关键点识别方法、装置及电子设备，以实现提高人体关键点的识别速率的目的。具体技术方案如下：第一方面，本专利技术实施例提供了一种人体关键点识别方法，包括：获得待识别人体关键点的目标图像；获得所述目标图像的人像蒙版；利用预先训练的神经网络模型，以所述目标图像的人像蒙版作为先验信息，对所述目标图像进行关键点信息识别，得到所述目标图像中每个人体关键点的热度图；其中，所述神经网络模型为利用样本图像和所述样本图像中每个人体关键点的真值热度图，并以所述样本图像的人像蒙版作为先验信息，所训练的模型；基于所述目标图像中每个人体关键点的热度图，确定所述目标图像中每个人体关键点的坐标。可选地，所述神经网络模型的训练过程包括：获得多个样本图像，以及，每个样本图像的人像蒙版和每个样本图像中每个人体关键点的坐标；针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图；针对每个样本图像，以该样本图像的人像蒙版作为先验信息，利用该样本图像对训练中的所述神经网络模型进行训练，得到该样本图像中每个人体关键点的预测热度图；基于每个样本图像中每个人体关键点的真值热度图与预测热度图的差异，计算综合损失值；基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整训练中的所述神经网络模型的网络参数，继续训练所述神经网络模型。可选地，针对每个样本图像，以该样本图像的人像蒙版作为先验信息，利用该样本图像对训练中的所述神经网络模型进行训练，得到该样本图像中每个人体关键点的预测热度图的步骤，包括：针对每个样本图像，将该样本图像和该样本图像的人像蒙版进行关于通道维度的矩阵拼接，得到该样本图像对应的第一拼接矩阵；分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型，以使训练中所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行热度图分析处理，得到每个样本图像中每个人体关键点的预测热度图；所述利用预先训练的神经网络模型，以所述目标图像的人像蒙版作为先验信息，对所述目标图像进行关键点信息识别，得到所述目标图像中每个人体关键点的热度图，包括：将所述目标图像和所述目标图像的人像蒙版进行关于通道维度的矩阵拼接，得到所述目标图像对应的第一拼接矩阵；将所述目标图像对应的第一拼接矩阵输入至预先训练的神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，对所述目标图像的特征矩阵进行热度图分析处理，得到所述目标图像中每个人体关键点的热度图。可选地，所述针对每个样本图像，将该样本图像和该样本图像的人像蒙版进行关于通道维度的矩阵拼接，得到该样本图像对应的第一拼接矩阵，包括：针对每个样本图像，将该样本图像的图像尺寸调整为第一尺寸，得到尺寸调整后的该样本图像，以及将该样本图像的图像尺寸调整为所述第一尺寸，得到该样本图像的第一人像蒙版；；并将尺寸调整后的该样本图像的矩阵和该样本图像的第一人像蒙版的矩阵进行数据拼接，得到该样本图像对应的第一拼接矩阵；其中，所述第一尺寸为所述神经网络模型的用于特征提取的输入内容的尺寸；所述将所述目标图像和所述目标图像的人像蒙版进行关于通道维度的矩阵拼接，得到所述目标图像对应的第一拼接矩阵的步骤，包括：将所述目标图像的图像尺寸调整为所述第一尺寸，得到尺寸调整后的所述目标图像；将所述目标图像的人像蒙版的图像尺寸调整所述第一尺寸，得到所述目标图像的第一人像蒙版；将尺寸调整后的所述目标样本图像的矩阵和所述目标图像的第一人像蒙版的矩阵进行数据拼接，得到所述目标图像对应的第一拼接矩阵。可选地，所述分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型之前，所述训练过程还包括：针对每个样本图像，将该样本图像的人像蒙版的图像尺寸调整为第二尺寸，得到该样本图像的第二人像蒙版；其中，所述第二尺寸为所述特征矩阵的尺寸；所述分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型，以使训练中的所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行热度图分析处理，得到每个样本图像中每个人体关键点的预测热度图的步骤，包括：分别将每个样本图像对应的第一拼接矩阵和相应第二人像蒙版输入至训练中的所述神经网络模型，以使训练中的所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，并将每个样本图像的特征矩阵与相应第二人像蒙版的矩阵进行数据拼接，得到每个样本图像对应的第二拼接矩阵，对每个样本图像对应的第二拼接矩阵进行热度图分析处理，得到每个样本图像中每个人体关键点的预测热度图；所述将所述目标图像对应的第一拼接矩阵输入至预先训练的神经网络模型之前，所述方法还包括：将所述目标图像的人像蒙版的图像尺寸调整为所述第二尺寸，得到所述目标图像的第二人像蒙版；所述将所述目标图像对应的第一拼接矩阵输入至预先训练的神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，对所述目标图像的特征矩阵进行热度图分析处理，得到所述目标图像中每个人体关键点的热度图，包括：将所述目标图像对应的第一拼接矩阵和所述目标图像的第二人像蒙版输入至预先训练的神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，并将所述目标图像的特征矩阵与所述目标图像的第二人像蒙版进行数据拼接，得到所述目标图像对应的第二拼接矩阵，对所述目标图像的第二拼接矩阵进行热度图分析处理，得到所述目标图像中每个人体关键点的热度图。第二方面，本专利技术实施例提供了一种人体关键点识别装置，包括：图像获得模块，用于获得待识别人体关键点的目本文档来自技高网...

【技术保护点】
1.一种人体关键点识别方法，其特征在于，包括：/n获得待识别人体关键点的目标图像；/n获得所述目标图像的人像蒙版；/n利用预先训练的神经网络模型，以所述目标图像的人像蒙版作为先验信息，对所述目标图像进行关键点信息识别，得到所述目标图像中每个人体关键点的热度图；其中，所述神经网络模型为利用样本图像和所述样本图像中每个人体关键点的真值热度图，并以所述样本图像的人像蒙版作为先验信息，所训练的模型；/n基于所述目标图像中每个人体关键点的热度图，确定所述目标图像中每个人体关键点的坐标。/n

【技术特征摘要】
1.一种人体关键点识别方法，其特征在于，包括：
获得待识别人体关键点的目标图像；
获得所述目标图像的人像蒙版；
利用预先训练的神经网络模型，以所述目标图像的人像蒙版作为先验信息，对所述目标图像进行关键点信息识别，得到所述目标图像中每个人体关键点的热度图；其中，所述神经网络模型为利用样本图像和所述样本图像中每个人体关键点的真值热度图，并以所述样本图像的人像蒙版作为先验信息，所训练的模型；
基于所述目标图像中每个人体关键点的热度图，确定所述目标图像中每个人体关键点的坐标。


2.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练过程包括：
获得多个样本图像，以及，每个样本图像的人像蒙版和每个样本图像中每个人体关键点的坐标；
针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图；
针对每个样本图像，以该样本图像的人像蒙版作为先验信息，利用该样本图像对训练中的所述神经网络模型进行训练，得到该样本图像中每个人体关键点的预测热度图；
基于每个样本图像中每个人体关键点的真值热度图与预测热度图的差异，计算综合损失值；
基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整训练中的所述神经网络模型的网络参数，继续训练所述神经网络模型。


3.根据权利要求2所述的方法，其特征在于，针对每个样本图像，以该样本图像的人像蒙版作为先验信息，利用该样本图像对训练中的所述神经网络模型进行训练，得到该样本图像中每个人体关键点的预测热度图的步骤，包括：
针对每个样本图像，将该样本图像和该样本图像的人像蒙版进行关于通道维度的矩阵拼接，得到该样本图像对应的第一拼接矩阵；
分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型，以使训练中所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行热度图分析处理，得到每个样本图像中每个人体关键点的预测热度图；
所述利用预先训练的神经网络模型，以所述目标图像的人像蒙版作为先验信息，对所述目标图像进行关键点信息识别，得到所述目标图像中每个人体关键点的热度图，包括：
将所述目标图像和所述目标图像的人像蒙版进行关于通道维度的矩阵拼接，得到所述目标图像对应的第一拼接矩阵；
将所述目标图像对应的第一拼接矩阵输入至预先训练的神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，对所述目标图像的特征矩阵进行热度图分析处理，得到所述目标图像中每个人体关键点的热度图。


4.根据权利要求3所述的方法，其特征在于，所述针对每个样本图像，将该样本图像和该样本图像的人像蒙版进行关于通道维度的矩阵拼接，得到该样本图像对应的第一拼接矩阵，包括：
针对每个样本图像，将该样本图像的图像尺寸调整为第一尺寸，得到尺寸调整后的该样本图像，以及将该样本图像的图像尺寸调整为所述第一尺寸，得到该样本图像的第一人像蒙版；；并将尺寸调整后的该样本图像的矩阵和该样本图像的第一人像蒙版的矩阵进行数据拼接，得到该样本图像对应的第一拼接矩阵；
其中，所述第一尺寸为所述神经网络模型的用于特征提取的输入内容的尺寸；
所述将所述目标图像和所述目标图像的人像蒙版进行关于通道维度的矩阵拼接，得到所述目标图像对应的第一拼接矩阵的步骤，包括：
将所述目标图像的图像尺寸调整为所述第一尺寸，得到尺寸调整后的所述目标图像；
将所述目标图像的人像蒙版的图像尺寸调整所述第一尺寸，得到所述目标图像的第一人像蒙版；
将尺寸调整后的所述目标样本图像的矩阵和所述目标图像的第一人像蒙版的矩阵进行数据拼接，得到所述目标图像对应的第一拼接矩阵。


5.根据权利要求3所述的方法，其特征在于，所述分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型之前，所述训练过程还包括：
针对每个样本图像，将该样本图像的人像蒙版的图像尺寸调整为第二尺寸，得到该样本图像的第二人像蒙版；其中，所述第二尺寸为所述特征矩阵的尺寸；
所述分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型，以使训练中的所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行热度图分析处理，得到每个样本图像中每个人体关键点的预测热度图的步骤，包括：
分别将每个样本图像对应的第一拼接矩阵和相应第二人像蒙版输入至训练中的所述神经网络模型，以使训练中的所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，并将每个样本图像的特征矩阵与相应第二人像蒙版的矩阵进行数据拼接，得到每个样本图像对应的第二拼接矩阵，对每个样本图像对应的第二拼接矩阵进行热度图分析处理，得到每个样本图像中每个人体关键点的预测热度图；
所述将所述目标图像对应的第一拼接矩阵输入至预先训练的神经网络模型之前，所述方法还包括：
将所述目标图像的人像蒙版的图像尺寸调整为所述第二尺寸，得到所述目标图像的第二人像蒙版；
所述将所述目标图像对应的第一拼接矩阵输入至预先训练的神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，对所述目标图像的特征矩阵进行热度图分析处理，得到所述目标图像中每个人体关键点的热度图，包括：
将所述目标图像对应的第一拼接矩阵和所述目标图像的第二人像蒙版输入至预先训练的神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，并将所述目标...

【专利技术属性】
技术研发人员：刘思阳，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11