【技术实现步骤摘要】
一种人体关键点识别方法、装置及电子设备
本专利技术涉及图像处理
，特别是涉及一种人体关键点识别方法、装置及电子设备。
技术介绍
人体关键点识别是动作识别、异常行为检测、安防等的实现基础，其主要用于从给定的图像中定位人体的身体关键部位，例如头部、颈部、肩部、手部等部位。现有技术中，在识别人体关键点时，获取待识别人体关键点的目标图像，通过预先训练的神经网络模型，生成该目标图像中每个人体关键点的单张的热度图heatmap，进而，基于每个人体关键点的单张的热度图，确定每个人体关键点的坐标。其中，任一人体关键点的热度图为该人体关键点可能存在的位置的概率分布图。专利技术人在实现本专利技术的过程中发现，现有技术至少存在如下问题：人体关键点的识别精度和模型复杂度无法同时保证，具体体现在：如果关键点的识别精准度较高，那么，热度图的尺寸需要较大，这样导致所利用的神经网络模型的复杂度会较高。因此，如何在模型复杂度较低的情况下，保证人体关键点的识别精准度，是一个亟待解决的问题。
技术实现思路
本专利技术实施例的目的在于提供一种人体关键点识别方法、装置及电子设备，以实现在模型复杂度较低的情况下，保证人体关键点识别的识别精准度的目的。具体技术方案如下：第一方面，本专利技术实施例提供了一种人体关键点识别方法，包括：获取待识别人体关键点的目标图像；将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像中每个人体关键点的热度图和位移图；其中，任一人...
【技术保护点】
1.一种人体关键点识别方法，其特征在于，包括：/n获取待识别人体关键点的目标图像；/n将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像中每个人体关键点的热度图和位移图；其中，任一人体关键点的位移图中的每个点用于表征该点所在位置相对于目标点所在位置的偏移距离，所述目标点为该人体关键点在所述位移图中的映射点；所述神经网络模型为基于样本图像，以及所述样本图像中每个人体关键点的真值热度图和真值位移图，所训练得到的模型；/n按照预定的识别规则，基于所述目标图像中每个人体关键点的热度图和位移图，确定所述目标图像中的每个人体关键点的坐标；其中，所述预定的识别规则为：针对每一人体关键点，基于该人体关键点的热度图确定候选区域，并基于该人体关键点的位移图从所述候选区域中确定该人体关键点的坐标。/n
【技术特征摘要】
1.一种人体关键点识别方法，其特征在于，包括：
获取待识别人体关键点的目标图像；
将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像中每个人体关键点的热度图和位移图；其中，任一人体关键点的位移图中的每个点用于表征该点所在位置相对于目标点所在位置的偏移距离，所述目标点为该人体关键点在所述位移图中的映射点；所述神经网络模型为基于样本图像，以及所述样本图像中每个人体关键点的真值热度图和真值位移图，所训练得到的模型；
按照预定的识别规则，基于所述目标图像中每个人体关键点的热度图和位移图，确定所述目标图像中的每个人体关键点的坐标；其中，所述预定的识别规则为：针对每一人体关键点，基于该人体关键点的热度图确定候选区域，并基于该人体关键点的位移图从所述候选区域中确定该人体关键点的坐标。
2.根据权利要求1所述的方法，其特征在于，任一人体关键点的位移图包括x轴方向的位移图和y轴方向的位移图；
所述按照预定的识别规则，基于所述目标图像中每个人体关键点的热度图和位移图，确定所述目标图像中的每个人体关键点的坐标的步骤，包括：
按照预定的第一计算公式，基于所述目标图像中每个人体关键点的热度图和位移图，确定所述目标图像中的每个人体关键点的坐标；
其中，所述预定的第一计算公式包括：
Ix＝hx×s1+ox×t1；
Iy＝hy×s2+oy×t2；
其中，(Ix，Iy)为人体关键点I的坐标，(hx，hy)为所述人体关键点I的热度图中取值最大的像素点的坐标，ox为所述人体关键点I的x轴方向的位移图中，取值为0的列的序号，oy为所述人体关键点I的y轴方向的位移图中，取值为0的行的序号；s1为x轴方向上所述神经网络模型所输出热度图相对于所输入图像的缩小系数，s2为y轴方向上所述神经网络模型所输出热度图相对于所输入图像的缩小系数；t1为x轴方向上所述神经网络模型所输出位移图相对于所输出热度图的缩小系数，t2为y轴方向上所述神经网络模型所输出位移图相对于所输出热度图的缩小系数。
3.根据权利要求1或2所述的方法，其特征在于，所述神经网络模型的训练过程包括：
获取多个样本图像，以及每一样本图像中每个人体关键点的坐标；
针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图和真值位移图；
分别将每一样本图像输入至训练中的所述神经网络模型，得到每一样本图像中每个人体关键点的预测热度图和预测位移图；
基于每一样本图像中每个人体关键点的真值热度图与预测热度图的差异，以及真值位移图与预测位移图的差异，计算综合损失值；
基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
4.根据权利要求3所述的方法，其特征在于，针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图的方式，包括：
针对每一样本图像，按照预定的真值热度图生成方式，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图；
其中，所述真值热度图生成方式，包括：
针对待生成真值热度图的每一人体关键点，生成一个矩阵M，所述矩阵M的尺寸与待生成真值热度图的尺寸相同；
遍历所述矩阵M中的每一元素，在遍历到每一元素时，按照预定的第二计算公式，计算该元素的取值参考值，如果该元素的取值参考值大于预定阈值，将该元素在所述矩阵M中的取值设置为0，否则，按照预定的第三计算公式，计算该元素的取值，将该元素在所述矩阵M中的取值设置为所计算的取值；
在遍历完毕所述矩阵M中所有元素后，将当前的所述矩阵M，作为该人体关键点的真值热度图；
所述第二计算公式包括：
其中，dab为所述矩阵M中元素P(b，a)的取值参考值，a为所述元素P所在行的序号，b为所述元素P所在列的序号，(xi′，yi′)为人体关键点i在所属样本图像中的坐标，round()为用于四舍五入运算的函数；α1为x轴方向上所述神经网络模型所输出热度图相对于所输入图像的缩小系数，α2为y轴方向上所述神经网络模型所输出热度图相对于所输入图像的缩小系数；所述人体关键点i为待生成真值热度图的人体关键点；
所述第三计算公式包括：其中，M[a][b]为所述元素P的取值。
5.根据权利要求3所述的方法，其特征在于，
针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值位移图的方式，包括：
针对每一样本图像，按照预定的真值位移图生成方式，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值位移图；
其中，所述真值位移图生成方式，包括：
针对待生成真值位移图的每一人体关键点，生成两个尺寸相同的矩阵Mx和My，所述矩阵Mx和My的尺寸与待生成真值位移图的尺寸相同；
遍历所述矩阵Mx中的每一元素，在遍历到每一元素时，利用预定的第四计算公式，计算该元素的取值，将该元素在所述矩阵Mx中的取值设置为所计算的取值；在遍历完毕所述矩阵Mx中所有元素后，将当前的所述矩阵Mx作为该人体关键点的x轴方向的位移图；
遍历所述矩阵My中的每一元素，在遍历到每一元素时，利用预定的第五计算公式，计算该元素的取值，将该元素在所述矩阵My中的取值设置为所计算的取值；在遍历完毕所述矩阵My中所有元素后，将当前的所述矩阵My作为该人体关键点的y轴方向的位移图；
其中，所述第四计算公式包括：
Mx[a][b]＝b-xi；
所述第五计算公式包括：
My[a][b]＝a-yi；
其中，Mx[a][b]为所述矩阵Mx中元素P(b，a)的取值，My[a][b]为所述矩阵My中元素P(b，a)的取值，a为元素P所在行的序号，b为元素P所在列的序号；(xi′，yi′)为人体关键点i在所属样本图像中的坐标，round()为用于四舍五入运算的函数；β1为x轴方向上所述神经网络模型所输出位移图相对于所输入图像的缩小系数，β2为y轴方向上所述神经网络模型所输出位移图相对于所输入图像的缩小系数；所述人体关键点i为待生成真值位移图的人体关键点。
6.一种人体关键点识别装置，其特征在于，包括：
图像获得模块，用于获取待识别人体关键点的目标图像；
信息识别模块，用于将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像中每个人体关键点的热度图和位移图；其中，任一人体关键点的位移图中...
【专利技术属性】
技术研发人员：刘思阳，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。