人体关键点检测方法、装置、网络设备及存储介质制造方法及图纸

本发明专利技术实施方式涉及计算机视觉技术领域，公开了一种人体关键点检测方法，应用于预训练的关键点检测模型，包括：提取目标人体图像的第一特征图；根据第一特征图进行若干层的反卷积，得到第二特征图，其中，在进行下一层的反卷积时，将分辨率与前一层反卷积得到的第三特征图相同的第一特征图和第三特征图组合后进行反卷积；根据第二特征图输出目标人体图像的各个人体关键点的热力图，并根据热力图确定目标人体图像的各个人体关键点。本发明专利技术实施方式还提供了一种人体关键点检测装置、网络设备及存储介质。本发明专利技术实施方式提供的人体关键点检测方法、装置、网络设备及存储介质，可以提高人体关键点的检测精度和人体姿态估计结果的准确性。

【技术实现步骤摘要】
人体关键点检测方法、装置、网络设备及存储介质
本专利技术涉及计算机视觉
，特别涉及一种人体关键点检测方法、装置、网络设备及存储介质。
技术介绍
人体姿态估计是计算机视觉领域中的一个重要研究方向，被广泛应用于人体活动分析、人机交互以及视频监视等方面。人体姿态估计是指通过计算机算法在图像或视频中定位人体关键点(如肩、肘、腕、膝和踝等)来估计人体姿态。然而，专利技术人发现现有技术至少存在以下问题：目前人体关键点的检测方法精度不高，容易造成人体关键点的输出误差，影响人体姿态估计的结果。
技术实现思路
本专利技术实施方式的目的在于提供一种人体关键点检测方法、装置、网络设备及存储介质，使得人体关键点的检测精度和人体姿态估计结果的准确性提高。为解决上述技术问题，本专利技术的实施方式提供了一种人体关键点检测方法，应用于预训练的关键点检测模型，包括：利用关键点检测模型的第一子模块提取目标人体图像的第一特征图，第一特征图包括多组不同分辨率的特征图；利用关键点检测模型的第二子模块根据第一特征图进行若干层的反卷积，得到第二特征图，其中，在进行下一层的反卷积时，利用第二子模块将分辨率与前一层反卷积得到的第三特征图相同的第一特征图和第三特征图组合后进行反卷积；利用关键点检测模型的第三子模块根据第二特征图输出目标人体图像的各个人体关键点的热力图，并根据热力图确定目标人体图像的各个人体关键点。本专利技术的实施方式还提供了一种人体关键点检测装置，包括：提取模块，用于提取目标人体图像的第一特征图，第一特征图包括多组不同分辨率的特征图；反卷积模块，用于根据第一特征图进行若干层的反卷积，得到第二特征图，其中，在进行下一层的反卷积时，将分辨率前一层反卷积得到的第三特征图相同的第一特征图和第三特征图组合后进行反卷积；检测模块，用于根据第二特征图输出目标人体图像的各个人体关键点的热力图，并根据热力图确定目标人体图像的各个人体关键点。本专利技术的实施方式还提供了一种网络设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的人体关键点检测方法。本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的人体关键点检测方法。本专利技术实施方式相对于现有技术而言，通过关键点检测模型提取目标人体图像多组不同分辨率的第一特征图；根据第一特征图进行若干层的反卷积，得到第二特征图，其中，在进行下一层的反卷积时，将分辨率与前一层反卷积得到的第三特征图相同的第一特征图和第三特征图组合后进行反卷积；根据第二特征图输出目标人体图像的各个人体关键点的热力图，并根据热力图确定目标人体图像的各个人体关键点。由于第三特征图的信息与组合的第一特征图的信息可以互相弥补，因此将两个特征图组合后进行反卷积，可以使关键点检测模型学习到目标人体图像中更多的人体关键点的信息，从而有效地提高人体关键点的检测精度和人体姿态估计结果的准确性。另外，利用关键点检测模型的第二子模块根据第一特征图进行若干层的反卷积，包括：在进行每一层的反卷积时，利用第二子模块根据通道数将反卷积分为若干组。通过在进行每一层的反卷积时，根据通道数将每一层的反卷积分为若干组进行，可以使反卷积的运算量在原来的基础上大幅减少。另外，利用关键点检测模型的第二子模块根据第一特征图进行若干层的反卷积，包括：在进行第一层的反卷积时，利用第二子模块根据最小分辨率的第一特征图进行反卷积。另外，利用关键点检测模型的第三子模块根据第二特征图输出目标人体图像的各个人体关键点的热力图，包括：利用第三子模块根据人体肢体空间关系对第二特征图进行分组卷积，根据分组卷积的结果输出目标人体图像的各个人体关键点的热力图。由于人体中同一部位的肢体在目标人体图像中存在较为固定的空间关系，且同一部位的肢体在目标人体图像中的特征也较为类似，因此根据人体肢体空间关系对第二特征图进行分组卷积，可以使关键点检测模型在同一组卷积中互相学习和参考同一部位肢体的空间位置和图像特征，从而有效地提高人体关键点的检测精度。另外，利用第三子模块根据人体肢体空间关系对第二特征图进行分组卷积，具体为：利用第三子模块根据预设的关键点分组对第二特征图进行分组卷积，关键点分组中的每一组的第二特征图包括处于邻近位置、并属于人体同一肢体位置的第一人体关键点的第二特征图，第一人体关键点为根据人体肢体空间关系预先定义的关键点。另外，利用关键点检测模型的第一子模块提取目标人体图像的第一特征图，具体为：利用第一子模块根据轻量级卷积神经网络获取目标人体图像的第一特征图。由于轻量级卷积神经网络可以减少关键点检测模型对计算能力的要求，因此根据轻量级卷积神经网络获取第一特征图，可以从整体上降低关键点检测模型对运行模型的设备的计算能力要求。另外，利用第一子模块根据轻量级卷积神经网络获取目标人体图像的第一特征图，包括：利用第一子模块将轻量级卷积神经网络最后一层卷积层的通道数减少至预设个数，根据减少通道数后的轻量级卷积神经网络获取目标人体图像的第一特征图。通过合理设置预设个数并将轻量级卷积神经网络最后一层卷积层的通道数减少至预设个数，可以使关键点检测模型在检测效果相差不大的情况下减少轻量级卷积神经网络的运算量，从而进一步降低关键点检测模型对运行模型的设备的计算能力要求。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。图1是本专利技术第一实施方式提供的人体关键点检测方法的流程示意图；图2是本专利技术第一实施方式提供的人体关键点检测方法的原理示意图；图3是本专利技术第二实施方式提供的人体关键点检测方法的流程示意图；图4是本专利技术第三实施方式提供的人体关键点检测方法的流程示意图；图5是本专利技术第三实施方式提供的人体关键点检测方法的检测示例图；图6是本专利技术第四实施方式提供的人体关键点检测装置的模块结构示意图；图7是本专利技术第五实施方式提供的网络设备的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。本专利技术的第一实施方式涉及一种人体关键点检测方法，利用关键点检测模型的第一子模块提取目标人体图像的第一特征图，其中，第一特征图包括多组不同分辨率的特征图；利用关键点检测模型的第二子模块根据第一特征图进行若干层的反卷积，得到第二特征图，其中，在进行下一层的反卷积时，利用第二子模块将分辨率与前一层反卷积得到的第三特征图相同的第一特征图和第三特征图组合后进行卷积；利用关键点检测模型的第三子模块根据第二特征图输出目标人体图像的各本文档来自技高网...

【技术保护点】
1.一种人体关键点检测方法，其特征在于，应用于预训练的关键点检测模型，所述人体关键点检测方法包括：/n利用所述关键点检测模型的第一子模块提取目标人体图像的第一特征图，所述第一特征图包括多组不同分辨率的特征图；/n利用所述关键点检测模型的第二子模块根据所述第一特征图进行若干层的反卷积，得到第二特征图，其中，在进行下一层的反卷积时，利用所述第二子模块将分辨率与前一层反卷积得到的第三特征图相同的所述第一特征图和所述第三特征图组合后进行反卷积；/n利用所述关键点检测模型的第三子模块根据所述第二特征图输出所述目标人体图像的各个人体关键点的热力图，并根据所述热力图确定所述目标人体图像的各个人体关键点。/n

【技术特征摘要】
1.一种人体关键点检测方法，其特征在于，应用于预训练的关键点检测模型，所述人体关键点检测方法包括：
利用所述关键点检测模型的第一子模块提取目标人体图像的第一特征图，所述第一特征图包括多组不同分辨率的特征图；
利用所述关键点检测模型的第二子模块根据所述第一特征图进行若干层的反卷积，得到第二特征图，其中，在进行下一层的反卷积时，利用所述第二子模块将分辨率与前一层反卷积得到的第三特征图相同的所述第一特征图和所述第三特征图组合后进行反卷积；
利用所述关键点检测模型的第三子模块根据所述第二特征图输出所述目标人体图像的各个人体关键点的热力图，并根据所述热力图确定所述目标人体图像的各个人体关键点。


2.根据权利要求1所述的人体关键点检测方法，其特征在于，所述利用所述关键点检测模型的第二子模块根据所述第一特征图进行若干层的反卷积，包括：
在进行每一层的反卷积时，利用所述第二子模块根据通道数将反卷积分为若干组。


3.根据权利要求1所述的人体关键点检测方法，其特征在于，所述利用所述关键点检测模型的第二子模块根据所述第一特征图进行若干层的反卷积，包括：
在进行第一层的反卷积时，利用所述第二子模块根据最小分辨率的所述第一特征图进行反卷积。


4.根据权利要求1所述的人体关键点检测方法，其特征在于，所述利用所述关键点检测模型的第三子模块根据所述第二特征图输出所述目标人体图像的各个人体关键点的热力图，包括：
利用所述第三子模块根据人体肢体空间关系对所述第二特征图进行分组卷积，根据分组卷积的结果输出所述目标人体图像的各个人体关键点的热力图。


5.根据权利要求4所述的人体关键点检测方法，其特征在于，所述利用所述第三子模块根据人体肢体空间关系对所述第二特征图进行分组卷积，具体为：
利用所述第三子模块根据预设的关键点分组对所述第二特征图进行分组卷积，所述关键点分组中的每一组的...

【专利技术属性】
技术研发人员：胥杰，马丹，乔曦雨，周凯文，杜欧杰，范亚平，周丹，雷林，
申请(专利权)人：咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11