人体关键点检测方法、装置、系统与计算机可读介质制造方法及图纸

本发明专利技术提供一种人体关键点检测方法、装置、系统与计算机可读介质，采用极坐标变换预处理人体图像数据，并在极坐标图像的人体关键点坐标构成的训练集基础上训练得到用于检测极坐标图像的人体关键点的检测模型，在实际检测时，先利用人脸检测器检测出人脸检测框，再对图像进行极坐标转换后，通过检测模型获得极坐标图像的人体关键点，最后变换到直角坐标系下，从而提升人体关键点检测模型精度的人体关键点检测方法。本发明专利技术采用极坐标变换预处理人体图像数据，一方面降低训练难度；另一方面由于人脸关键点数量远多于身体关键点，经变换能够提升图像中人脸的占比，更准确地预测人脸关键点，进而提升人体关键点检测的整体性能。

【技术实现步骤摘要】
人体关键点检测方法、装置、系统与计算机可读介质
本专利技术涉及图像处理
，尤其是人脸检测与识别，具体而言涉及一种基于极坐标变换的人体关键点检测方法、装置、系统与计算机可读介质。
技术介绍
人体目标识别是基于计算机视觉技术的重要应用，通过前端部署的摄像头采集的图像，在边缘设备或者后台服务器进行目标识别处理，从而进行诸如人流量计数、控制等策略处理，或者基于目标识别进行诸如动作预测、动画生产等后续应用。人体目标识别处理的过程包括目标检测和目标定位。目标检测是指从采集的图像中提取出人体大概的位置，裁剪得到人体图像，可通过训练目标检测器(即检测模型)实现。目标定位是指从人体图像中进行人体关键点定位，即检测人体图像中脸部、肢体的关键点位置，例如，通过训练关键点检测器(即检测模型)实现。但找非受控场景下，人体图像数据变化较大，人群数量、拍摄角度、位置、着装、姿态、遮挡以及背景环境差别较大，对于人体关键点检测来说，难度较大。现有技术中，人体关键点检测方法主要分为两类，其中一类方法是先检测图像中的人体位置，截取出人体图像，再检测人体图像中的关键点。但在人体图像中，脸部在整个人体图像中占比很小，导致直接根据脸部关键点和肢体关键点标注数据直接训练的模型并预测脸部关键点的预测结果不准确，而脸部的关键点的数量往往较多，肢体关键点数量较少，因此会影响人体关键点检测的整体精度。另一类方法是分别检测人体和人脸位置，截取出人体和人脸图像，再分别检测肢体和脸部关键点，这种方法虽然精度较高但需要多个模型预测，计算耗时。>
技术实现思路
本专利技术目的在于提供一种采用极坐标变换预处理人体图像数据，提升人体关键点检测模型精度的人体关键点检测方法。本专利技术的第一方面提出一种基于极坐标变换的人体关键点检测方法，包括：步骤1、获取M张包含人体的彩色图像，M为大于1000的自然数；步骤2、对每幅彩色图像标注N个人体关键点，得到标注数据；其中，所述人体关键点包括脸部关键点以及肢体关键点，且脸部关键点数量多于肢体关键点；步骤3、根据标注的人脸关键点的坐标确定彩色图像的人脸边界框，以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸；步骤4、以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸，根据人脸中心点和人脸尺寸，将人体关键点从直角坐标系转换到极坐标系，得到极坐标系下的标注数据；步骤5、基于极坐标系下的标注数据，训练用于预测人体极坐标图像中的人体关键点的人体关键点检测模型；步骤6、对于输入的包含人体的待检测图像，使用人脸检测器检测出人脸边界框，然后根据所述步骤4的方法进行极坐标系的转换，将待检测图像转换为极坐标图像；步骤7、使用步骤5训练的人体关键点检测模型检测极坐标图像中的人体关键点；以及步骤8、将极坐标图像中的人体关键点变换回直角坐标系，得到待检测图像的人体关键点。本专利技术的第二方面提出一种基于极坐标变换的人体关键点检测装置，包括：用于获取M张包含人体的彩色图像的模块，M为大于1000的自然数；用于对每幅彩色图像标注N个人体关键点，得到标注数据的模块；其中，所述人体关键点包括脸部关键点以及肢体关键点，且脸部关键点数量多于肢体关键点；用于根据标注的人脸关键点的坐标确定彩色图像的人脸边界框的模块；用于以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸，并根据人脸中心点和人脸尺寸，将人体关键点从直角坐标系转换到极坐标系，得到极坐标系下的标注数据的模块；用于基于极坐标系下的标注数据，训练用于预测人体极坐标图像中的人体关键点的人体关键点检测模型的模块；用于对于输入的包含人体的待检测图像，使用人脸检测器检测出人脸边界框，然后根据所述步骤4的方法进行极坐标系的转换，将待检测图像转换为极坐标图像的模块；用于使用步骤5训练的人体关键点检测模型检测极坐标图像中的人体关键点的模块；以及用于将极坐标图像中的人体关键点变换回直角坐标系，得到待检测图像的人体关键点的模块。本专利技术的第三方面提出一种计算机系统，包括：一个或多个处理器；存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作前述基于极坐标变换的人体关键点检测方法的流程。本专利技术的第四方面提出一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作前述的基于极坐标变换的人体关键点检测方法的流程。由于非受控场景下的人体图像数据变化较大，且脸部占比小，给人体关键点检测模型的训练带来了难度。本专利技术采用极坐标变换预处理人体图像数据，一方面能够将数据调整到统一的模式，降低训练难度；另一方面由于人脸关键点数量远多于身体关键点，经变换能够提升图像中人脸的占比，更准确地预测人脸关键点，进而提升人体关键点检测的整体性能。应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的专利技术主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的专利技术主题的一部分。结合附图从下面的描述中可以更加全面地理解本专利技术教导的前述和其他方面、实施例和特征。本专利技术的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本专利技术教导的具体实施方式的实践中得知。附图说明附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本专利技术的各个方面的实施例，其中：图1是根据本专利技术示例性实施例的人体关键点检测模型的训练过程示意图。图2是本专利技术人体关键点检测模型的模型结构示意图。图3是根据本专利技术图1所示实施例的模型进行人体关键点检测的过程示意图。具体实施方式为了更了解本专利技术的
技术实现思路
，特举具体实施例并配合所附图式说明如下。在本公开中参照附图来描述本专利技术的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本专利技术的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本专利技术所公开的构思和实施例并不限于任何实施方式。另外，本专利技术公开的一些方面可以单独使用，或者与本专利技术公开的其他方面的任何适当组合来使用。人体关键点检测方法结合图1-3所示，根据本专利技术实施例的基于极坐标变换的人体关键点检测方法，以人脸为中心对图像和标注的关键点坐标进行极坐标变换，使用变换后的数据训练人体关键点检测模型，作为示例的实现过程包括：步骤1、获取M张包含人体的彩色图像，M为大于1000的自然数；步骤2、对每幅彩色图像标注N个人体关键点，得到标注数据；其中本文档来自技高网...

【技术保护点】
1.一种基于极坐标变换的人体关键点检测方法，其特征在于，包括：/n步骤1、获取M张包含人体的彩色图像，M为大于1000的自然数；/n步骤2、对每幅彩色图像标注N个人体关键点，得到标注数据；其中，所述人体关键点包括脸部关键点以及肢体关键点，且脸部关键点数量多于肢体关键点；/n步骤3、根据标注的人脸关键点的坐标确定彩色图像的人脸边界框，以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸；/n步骤4、以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸，根据人脸中心点和人脸尺寸，将人体关键点从直角坐标系转换到极坐标系，得到极坐标系下的标注数据；/n步骤5、基于极坐标系下的标注数据，训练用于预测人体极坐标图像中的人体关键点的人体关键点检测模型；/n步骤6、对于输入的包含人体的待检测图像，使用人脸检测器检测出人脸边界框，然后根据所述步骤4的方法进行极坐标系的转换，将待检测图像转换为极坐标图像；/n步骤7、使用步骤5训练的人体关键点检测模型检测极坐标图像中的人体关键点；以及/n步骤8、将极坐标图像中的人体关键点变换回直角坐标系，得到待检测图像的人体关键点。/n

【技术特征摘要】
20210425 CN 20211044889361.一种基于极坐标变换的人体关键点检测方法，其特征在于，包括：
步骤1、获取M张包含人体的彩色图像，M为大于1000的自然数；
步骤2、对每幅彩色图像标注N个人体关键点，得到标注数据；其中，所述人体关键点包括脸部关键点以及肢体关键点，且脸部关键点数量多于肢体关键点；
步骤3、根据标注的人脸关键点的坐标确定彩色图像的人脸边界框，以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸；
步骤4、以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸，根据人脸中心点和人脸尺寸，将人体关键点从直角坐标系转换到极坐标系，得到极坐标系下的标注数据；
步骤5、基于极坐标系下的标注数据，训练用于预测人体极坐标图像中的人体关键点的人体关键点检测模型；
步骤6、对于输入的包含人体的待检测图像，使用人脸检测器检测出人脸边界框，然后根据所述步骤4的方法进行极坐标系的转换，将待检测图像转换为极坐标图像；
步骤7、使用步骤5训练的人体关键点检测模型检测极坐标图像中的人体关键点；以及
步骤8、将极坐标图像中的人体关键点变换回直角坐标系，得到待检测图像的人体关键点。


2.根据权利要求1所述的基于极坐标变换的人体关键点检测方法，其特征在于，所述步骤2中，对每幅彩色图像标注N个人体关键点，得到的标注数据表达为：



其中，为第m幅图像的第n个关键点坐标，m＝0，1，2，...，M-1，n＝0，1，2，...，N-1；
并且在所述步骤3中，对应地将所述人体关键点的标注数据通过极坐标转换后，得到极坐标系下的数据如下：
{[I0，(p0，0，p0，1，...，p0，N-1)]，[I1，(p1，0，p1，1，...，p1，N-1)]，...，[IM-1，(pM-1，0，pM-1，1，...，pM-1，N-1)]}
其中，pm，n＝(ρm，n，θm，n)为第m幅极坐标图像Im的第n个关键点的极坐标，极坐标图像的边长为L，L为正整数。


3.根据权利要求2所述的基于极坐标变换的人体关键点检测方法，其特征在于，所述步骤2中，边长L取值为64或者128。


4.根据权利要求2所述的基于极坐标变换的人体关键点检测方法，其特征在于，所述步骤4中，极坐标的变换采用opencv图像处理库中的warpPolar方法，其中dsize设置为L，参数center设置为人脸边界框的中心点，参数maxRadius设置为4am；
则，人体关键点的极坐标变换公式为：



其中，am表示人脸边界框的长边的长度，(xface，m，yface，m)表示人脸边界框的中心点。


5.根据权利要求2所述的基于极坐标变换的人体关键点检测方法，其特征在于，所述步骤5中，人体关键点检测模型的训练采用由由卷积层、最大值池化层和全连接层组成的训练模型，卷积层的卷积核大小为3×3，步长为1，补零方式为SamePadding，最大值池化层的池化窗口大小为2×2、步长...

【专利技术属性】
技术研发人员：杨帆，郝强，潘鑫淼，胡建国，
申请(专利权)人：南京甄视智能科技有限公司，
类型：发明
国别省市：江苏;32