一种轻量化可实现多人全身关键点的检测方法以及装置制造方法及图纸

本发明专利技术提供了一种轻量化可实现多人全身关键点的检测方法以及装置，包括如下步骤：从MPII人体姿态数据集中获取脸部关键点、手部关键点以及脚部关键点的预测坐标，并将所述预测坐标与身体关键点坐标相结合形成真实标签，利用上述标记好的个人数据形成全身关键点检测数据集；将残差50卷积块注意力网络的前22层设计为全身关键点检测网络的主干网络，使其与N个轻量级强大的关键点检测子网络相结合形成全身关键点检测网络；然后将上述检测网络在所述全身关键点检测数据集上进行训练，并使用两种损失函数标签损失和蒸馏损失进行辅助训练，训练后的模型部署后进行实时检测和识别。本发明专利技术的检测方法具有高准确度、低参数量的检测性能。

【技术实现步骤摘要】

本专利技术涉及人全身关键点检测领域，具体而言，涉及一种轻量化可实现多人全身关键点的检测方法以及装置。

技术介绍

1、人体关键点检测已经是一个研究了几十年的公开问题。最初，大部分研究侧重在人脸关键点检测，后来发展为单个和多个人的人体关键点检测，包括身体、脚部关键点和较难的手部关键点检测。一个近期的且更有挑战的研究是将所有这些关键点检测任务集成到一个算法当中，从而实现全身(身体、面部、手和脚)关键点检测。

2、全身关键点检测可以直接应用于以下场景当中，包括异常行为检测、增强现实、虚拟现实、医疗应用和体育分析等。同时还可以为3d人体关键点检测和网格重建、人员重新识别与跟踪和动作识别提供更细致的信息。尽管有这么多的需求，但提供全身关键点检测的第一个方法是openpose的前期版本。首先，以自下而上的方式从输入图像中获得所有身体关键点坐标，然后为每个检测到的人运行额外的面部和手部关键点检测器。作为一种多网络方法，它直接使用现有的身体，面部和手部关键点检测算法。然而，它受到以下问题：如果身体检测器失败，则无法实现恢复，特别是在图像中仅面部或手部分是可见的。本文档来自技高网...

【技术保护点】

1.一种轻量化可实现多人全身关键点的检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的检测方法，其特征在于，主干网络在训练过程中，用于对数据集中的人体图片进行特征提取，获得大小为46×46×128的低级人体图像特征图LF。

3.根据权利要求2所述的检测方法，其特征在于，关键点检测子网络n＝1以46×46×128的LF为输入，用于产生初始的关节相关区域预测结果R1。

4.根据权利要求3所述的检测方法，其特征在于，关键点检测子网络n∈{2，...，N-1}以LF和前一相邻阶段的预测结果R(n-1)为输入，并产生越来越精确的PAF预测结果Rn，最...

【技术特征摘要】

1.一种轻量化可实现多人全身关键点的检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的检测方法，其特征在于，主干网络在训练过程中，用于对数据集中的人体图片进行特征提取，获得大小为46×46×128的低级人体图像特征图lf。

3.根据权利要求2所述的检测方法，其特征在于，关键点检测子网络n＝1以46×46×128的lf为输入，用于产生初始的关节相关区域预测结果r1。

4.根据权利要求3所述的检测方法，其特征在于，关键点检测子网络n∈{2，...，n-1}以lf和前一相邻阶段的预测结果r(n-1)为输入，并产生越来越精确的paf预测结果rn，最后子网络n＝n以lf和前一相邻阶段的预测结果r(n-1)为输入，产生最终精确的全身关键点预测坐标rn。

5.根据权利要求4所述的检测方法，其特征在于，辅助训练过程中，对于子网络n∈{1，...，n-1}，标签损失l标签...

【专利技术属性】
技术研发人员：强保华，张世豪，陈礼睿，谢元，陈锐东，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：