一种人体关键点识别方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种人体关键点识别方法、装置及电子设备，应用于图像处理领域。该方法包括：获得视频中待识别人体关键点的目标视频帧；对目标视频帧进行人体图提取处理，得到待利用的目标人体图；利用预先训练完成的神经网络模型，以位于目标视频帧之前的视频帧的预定人体图像信息作为辅助信息，对目标人体图进行关键点信息识别，得到目标人体图中每个人体关键点的关键点信息；基于目标人体图中每个人体关键点的关键点信息，确定目标视频帧中每个人体关键点的坐标。通过本方案，可以实现提高人体关键点识别的精准度的目的。

A key point recognition method, device and electronic equipment for human body

【技术实现步骤摘要】
一种人体关键点识别方法、装置及电子设备
本专利技术涉及图像处理
，特别是涉及一种人体关键点识别方法、装置及电子设备。
技术介绍
人体关键点识别是动作识别、异常行为检测、安防等的实现基础，其主要用于从给定的图像中定位人体的身体关键部位，例如头部、颈部、肩部、手部等部位。现有技术中，在识别视频帧中的人体关键点时，从该视频帧中提取待利用的人体图，将人体图输入至预先训练的神经网络模型，得到每个人体关键点的关键点信息，进而，基于所得到的每个人体关键点的关键点信息，确定该视频帧中每个人体关键点的坐标。其中，任一人体关键点的关键点信息包括但不局限于：热度图，或者，热度图加其他辅助图，等等。专利技术人在实现本专利技术的过程中发现，现有技术至少存在如下问题：对于人体运动幅度较大的情况，各个视频帧均存在运动模糊。那么，在利用现有技术识别视频帧的人体关键点时，由于所依赖的待识别人体关键点的视频帧存在运动模糊，这样无疑导致人体关键点识别的精准度较低。
技术实现思路
本专利技术实施例的目的在于提供一种人体关键点识别方法、装置及电子设备，以实现提高人体关键点识别的精准度的目的。具体技术方案如下：第一方面，本专利技术实施例提供了一种人体关键点识别方法，包括：获得视频中待识别人体关键点的目标视频帧；对所述目标视频帧进行人体图提取处理，得到待利用的目标人体图；利用预先训练完成的神经网络模型，以位于所述目标视频帧之前的视频帧的预定人体图像信息作为辅助信息，对所述目标人体图进行关键点信息识别，得到所述目标人体图中每个人体关键点的关键点信息；其中，所述神经网络模型为利用样本人体图和所述样本人体图中每个人体关键点的真值关键点信息，以及以位于所述样本人体图所属视频帧之前的视频帧的所述预定人体图像信息作为辅助信息，所训练得到的模型；所述样本人体图为从样本视频的视频帧中提取的图像；基于所述目标人体图中每个人体关键点的关键点信息，确定所述目标视频帧中每个人体关键点的坐标。可选地，在一种实现方式中，所述利用预先训练完成的神经网络模型，以位于所述目标视频帧之前的视频帧的预定人体图像信息作为辅助信息，对所述目标人体图进行关键点信息识别，得到所述目标人体图中每个人体关键点的关键点信息的步骤，包括：利用预先训练完成的神经网络模型，以所述目标视频帧的上一帧的预定人体图像信息作为辅助信息，对所述目标人体图进行关键点信息识别，得到每个人体关键点的热度图和位移图；其中，任一人体关键点的位移图中的每个点，与所述目标人体图中的一个区域块具有唯一映射关系，且每个点用于表征该点所映射的区域块或该点相对于该人体关键点的偏移量；所述基于所述目标人体图中每个人体关键点的关键点信息，确定所述目标视频帧中每个人体关键点的坐标，包括：基于所述目标人体图中每个人体关键点的热度图和位移图，确定所述目标视频帧中每个人体关键点的坐标。可选地，在一种实现方式中，所述基于所述目标人体图中每个人体关键点的热度图和位移图，确定所述目标视频帧中每个人体关键点的坐标，包括：按照预定的识别规则，基于所述目标人体图中每个人体关键点的热度图和位移图，确定所述目标人体图中每个人体关键点的坐标；其中，所述预定的识别规则为：针对每一人体关键点，基于该人体关键点的热度图确定候选区域并基于该人体关键点的位移图从所述候选区域中确定该人体关键点的坐标的规则；基于所述目标人体图中每个人体关键点的坐标，确定所述目标视频帧中每个人体关键点的坐标。可选地，在一种实现方式中，所述上一帧的预定人体图像信息为：通过对所述上一帧中每个人体关键点的热度图进行蒙版生成处理所得到的，所述上一帧中每个人体关键点的蒙版图；其中，所述蒙版生成处理包括：将不为0的像素点调整为1。可选地，在一种实现方式中，所述利用预先训练完成的神经网络模型，以所述目标视频帧的上一帧的预定人体图像信息作为辅助信息，对所述目标人体图进行关键点信息识别，得到每个人体关键点的热度图和位移图的步骤，包括：将所述目标人体图的矩阵和所述上一帧中每个人体关键点的蒙版图的矩阵进行矩阵拼接，得到所述目标人体图的拼接矩阵；将所述目标人体图的拼接矩阵输入至预先训练完成的神经网络模型，得到所述目标人体图中每个人体关键点的热度图和位移图。可选地，在一种实现方式中，所述神经网络模型的训练过程包括：获得多个样本人体图，以及每一样本人体图中每个人体关键点的坐标；针对每一样本人体图，利用该样本人体图中每个人体关键点的坐标，生成该样本人体图中每个人体关键点的真值热度图和真值位移图；针对每一样本人体图，获得该样本人体图所属视频帧的上一帧中，每个人体关键点的样本蒙版图，并将所获得样本蒙版图的矩阵与该样本人体图的矩阵进行矩阵拼接，得到该样本人体图的拼接矩阵；分别将每一样本人体图的拼接矩阵输入至训练中的所述神经网络模型，得到每一样本人体图中每个人体关键点的预测热度图和预测位移图；基于每一样本人体图中每个人体关键点的真值热度图与预测热度图的差异，以及真值位移图与预测位移图的差异，计算综合损失值；基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。第二方面，本专利技术实施例提供了一种人体关键点识别装置，所述装置包括：视频帧提取模块，用于获得视频中待识别人体关键点的目标视频帧；人体图提取模块，用于对所述目标视频帧进行人体图提取处理，得到待利用的目标人体图；信息识别模块，用于利用预先训练完成的神经网络模型，以位于所述目标视频帧之前的视频帧的预定人体图像信息作为辅助信息，对所述目标人体图进行关键点信息识别，得到所述目标人体图中每个人体关键点的关键点信息；其中，所述神经网络模型为利用样本人体图和所述样本人体图中每个人体关键点的真值关键点信息，以及以位于所述样本人体图所属视频帧之前的视频帧的所述预定人体图像信息作为辅助信息，所训练得到的模型；所述样本人体图为从样本视频的视频帧中提取的图像；坐标确定模块，用于基于所述目标人体图中每个人体关键点的关键点信息，确定所述目标视频帧中每个人体关键点的坐标。可选地，在一种实现方式中，所述信息识别模块包括：信息识别子模块，用于利用预先训练完成的神经网络模型，以所述目标视频帧的上一帧的预定人体图像信息作为辅助信息，对所述目标人体图进行关键点信息识别，得到每个人体关键点的热度图和位移图；其中，任一人体关键点的位移图中的每个点，与所述目标人体图中的一个区域块具有唯一映射关系，且每个点用于表征该点所映射的区域块或该点相对于该人体关键点的偏移量；所述坐标确定模块包括：坐标确定子模块，用于基于所述目标人体图中每个人体关键点的热度图和位移图，确定所述目标视频帧中每个人体关键点的坐标。可选地，在一种实现方式中，所述坐标确定子模块具体用于：按本文档来自技高网...

【技术保护点】
1.一种人体关键点识别方法，其特征在于，所述方法包括：/n获得视频中待识别人体关键点的目标视频帧；/n对所述目标视频帧进行人体图提取处理，得到待利用的目标人体图；/n利用预先训练完成的神经网络模型，以位于所述目标视频帧之前的视频帧的预定人体图像信息作为辅助信息，对所述目标人体图进行关键点信息识别，得到所述目标人体图中每个人体关键点的关键点信息；其中，所述神经网络模型为利用样本人体图和所述样本人体图中每个人体关键点的真值关键点信息，以及以位于所述样本人体图所属视频帧之前的视频帧的所述预定人体图像信息作为辅助信息，所训练得到的模型；所述样本人体图为从样本视频的视频帧中提取的图像；/n基于所述目标人体图中每个人体关键点的关键点信息，确定所述目标视频帧中每个人体关键点的坐标。/n

【技术特征摘要】
1.一种人体关键点识别方法，其特征在于，所述方法包括：
获得视频中待识别人体关键点的目标视频帧；
对所述目标视频帧进行人体图提取处理，得到待利用的目标人体图；
利用预先训练完成的神经网络模型，以位于所述目标视频帧之前的视频帧的预定人体图像信息作为辅助信息，对所述目标人体图进行关键点信息识别，得到所述目标人体图中每个人体关键点的关键点信息；其中，所述神经网络模型为利用样本人体图和所述样本人体图中每个人体关键点的真值关键点信息，以及以位于所述样本人体图所属视频帧之前的视频帧的所述预定人体图像信息作为辅助信息，所训练得到的模型；所述样本人体图为从样本视频的视频帧中提取的图像；
基于所述目标人体图中每个人体关键点的关键点信息，确定所述目标视频帧中每个人体关键点的坐标。


2.根据权利要求1所述的方法，其特征在于，所述利用预先训练完成的神经网络模型，以位于所述目标视频帧之前的视频帧的预定人体图像信息作为辅助信息，对所述目标人体图进行关键点信息识别，得到所述目标人体图中每个人体关键点的关键点信息的步骤，包括：
利用预先训练完成的神经网络模型，以所述目标视频帧的上一帧的预定人体图像信息作为辅助信息，对所述目标人体图进行关键点信息识别，得到每个人体关键点的热度图和位移图；其中，任一人体关键点的位移图中的每个点，与所述目标人体图中的一个区域块具有唯一映射关系，且每个点用于表征该点所映射的区域块或该点相对于该人体关键点的偏移量；
所述基于所述目标人体图中每个人体关键点的关键点信息，确定所述目标视频帧中每个人体关键点的坐标，包括：
基于所述目标人体图中每个人体关键点的热度图和位移图，确定所述目标视频帧中每个人体关键点的坐标。


3.根据权利要求2所述的方法，其特征在于，所述基于所述目标人体图中每个人体关键点的热度图和位移图，确定所述目标视频帧中每个人体关键点的坐标，包括：
按照预定的识别规则，基于所述目标人体图中每个人体关键点的热度图和位移图，确定所述目标人体图中每个人体关键点的坐标；其中，所述预定的识别规则为：针对每一人体关键点，基于该人体关键点的热度图确定候选区域并基于该人体关键点的位移图从所述候选区域中确定该人体关键点的坐标的规则；
基于所述目标人体图中每个人体关键点的坐标，确定所述目标视频帧中每个人体关键点的坐标。


4.根据权利要求2所述的方法，其特征在于，所述上一帧的预定人体图像信息为：通过对所述上一帧中每个人体关键点的热度图进行蒙版生成处理所得到的，所述上一帧中每个人体关键点的蒙版图；其中，所述蒙版生成处理包括：将不为0的像素点调整为1。


5.根据权利要求4所述的方法，其特征在于，所述利用预先训练完成的神经网络模型，以所述目标视频帧的上一帧的预定人体图像信息作为辅助信息，对所述目标人体图进行关键点信息识别，得到每个人体关键点的热度图和位移图的步骤，包括：
将所述目标人体图的矩阵和所述上一帧中每个人体关键点的蒙版图的矩阵进行矩阵拼接，得到所述目标人体图的拼接矩阵；
将所述目标人体图的拼接矩阵输入至预先训练完成的神经网络模型，得到所述目标人体图中每个人体关键点的热度图和位移图。


6.根据权利要求5所述的方法，其特征在于，所述神经网络模型的训练过程包括：
获得多个样本人体图，以及每一样本人体图中每个人体关键点的坐标；
针对每一样本人体图，利用该样本人体图中每个人体关键点的坐标，生成该样本人体图中每个人体关键点的真值热度图和真值位移图；
针对每一样本人体图，获得该样本人体图所属视频帧的上一帧中，每个人体关键点的样本蒙版图，并将所获得样本蒙版图的矩阵与该样本人体图的矩阵进行矩阵拼接，得到该样本人体图的拼接矩阵；
分别将每一样本人体图的拼接矩阵输入至训练中的所述神经网络模型，得到每一样本人体图中每个人体关键点的预测热度图和预测位移图；
基于每一样本人体图中每个人体关键点的真值热度图与预测热度图的差异，以及真值位移图与预测位移图的差异，计算综合损失值；
基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。


7.一种人体关键点识别装置，...

【专利技术属性】
技术研发人员：刘思阳，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11