人体关键点检测方法、系统、电子设备及可读存储介质技术方案

本发明专利技术公开了一种人体关键点检测方法、系统、电子设备及可读存储介质，所述方法包括以下步骤：获取待检测图像；其中，所述待检测图像包括人体图像；将所述待检测图像输入预训练好的二维人体关键点检测模型中，输出获得二维人体关键点检测结果。本发明专利技术利用对比学习和无标签数据获取了低分辨率图片高层语义特征提取器，能够减少人工标注的依赖；利用非对称的多层感知机设计及梯度停止策略，增加了训练过程的稳定性，减少了坍缩解的产生；能够提高低分辨率二维人体关键点检测的准确率。辨率二维人体关键点检测的准确率。辨率二维人体关键点检测的准确率。

【技术实现步骤摘要】
人体关键点检测方法、系统、电子设备及可读存储介质


[0001]本专利技术属于计算机视觉
，涉及人体姿态估计领域，特别涉及一种人体关键点检测方法、系统、电子设备及可读存储介质。

技术介绍

[0002]人体关键点检测(Human Keypoints Detection)又称为人体姿态估计，其是计算机视觉中人体动作识别、行为分析、人机交互等的前置任务；其中，二维人体关键点检测问题定义为单人全身图像中人体关节关键点的二维定位问题，二维人体关键点检测问题的主要挑战在于：1)抓取人体关节点间存在的强连接关系；2)存在部分小关节点乃至几乎不可见的关节点；3)环境遮挡。
[0003]现有主流方法主要受到上述挑战1)的推动，即需要在大空间中寻找所有可能的铰接姿态；近年来，随着深度学习的发展，基于深度学习的二维人体关键点检测方法取得了重大进步。
[0004]然而，基于深度学习的二维关键点检测方法对于低分辨率图像(具体示例性的，分辨率小于等于72
×
300)的检测效果是有限的，原因在于低分辨率图像在反映连接关系及定位小关节点等任务上存在天然信息不足的劣势，故亟需一种适用于低分辨率图像的人体关键点检测方法。

技术实现思路

[0005]本专利技术的目的在于提供一种人体关键点检测方法、系统、电子设备及可读存储介质，以解决上述存在的一个或多个技术问题。本专利技术中，基于对比学习提供了一种低分辨率二维人体关键点检测方法，该方法应用对比学习深层次地提取低分辨率图像的高层语义信息，能够实现适应低分辨率图像的人体关键点检测。
[0006]为达到上述目的，本专利技术采用以下技术方案：
[0007]本专利技术第一方面提供的一种人体关键点检测方法，包括以下步骤：
[0008]获取待检测图像；其中，所述待检测图像包括人体图像；
[0009]将所述待检测图像输入预训练好的二维人体关键点检测模型中，输出获得二维人体关键点检测结果；
[0010]其中，所述预训练好的二维人体关键点检测模型的获取步骤包括：
[0011]将预获取的无标签训练数据集中的每张原始图像，以降低分辨率作为数据增强的方式进行处理，获得每张原始图像对应的降低分辨率数据增强图片；
[0012]将每张原始图像及其对应的降低分辨率数据增强图片成对输入孪生网络，通过优化损失函数，反向梯度传播迭代更新编码器参数，获取低分辨率图像高层语义特征提取器；
[0013]保留所述低分辨率图像高层语义特征提取器中的编码器网络，结合L
norm
‑2损失函数将关键点检测作为一个回归问题，通过预获取的有标签的训练集对所述编码器网络进行调整，获得预训练好的二维人体关键点检测模型。
[0014]本专利技术方法的进一步改进在于，所述通过优化损失函数，反向梯度传播迭代更新编码器参数，获取低分辨率图像高层语义特征提取器中，
[0015]所述损失函数的表达式为，
[0016]式中，Z1和Z2是两种数据增广后样本经过编码器得到的特征，p1和p2分别是Z1和Z2经过投影器得到的高层特征；D(.,.)是向量之间的余弦相似度。
[0017]本专利技术方法的进一步改进在于，所述L
norm
‑2损失函数为，
[0018]式中，是真实值，是回归值，是网络的编码映射函数，v是单人全身图像，θ是网络参数，n是样本数，下标l指代是有标签数据，上标i指代第i个图片。
[0019]本专利技术方法的进一步改进在于，所述孪生网络为共享参数的孪生CNN网络。
[0020]本专利技术方法的进一步改进在于，所述以降低分辨率作为数据增强的方式进行处理的过程中，采用双线性插值算法进行处理。
[0021]本专利技术第二方面提供的一种人体关键点检测系统，包括：
[0022]获取模块，用于获取待检测图像；其中，所述待检测图像包括人体图像；
[0023]检测模块，用于将所述待检测图像输入预训练好的二维人体关键点检测模型中，输出获得二维人体关键点检测结果；
[0024]其中，所述预训练好的二维人体关键点检测模型的获取步骤包括：
[0025]将预获取的无标签训练数据集中的每张原始图像，以降低分辨率作为数据增强的方式进行处理，获得每张原始图像对应的降低分辨率数据增强图片；
[0026]将每张原始图像及其对应的降低分辨率数据增强图片成对输入孪生网络，通过优化损失函数，反向梯度传播迭代更新编码器参数，获取低分辨率图像高层语义特征提取器；
[0027]保留所述低分辨率图像高层语义特征提取器中的编码器网络，结合L
norm
‑2损失函数将关键点检测作为一个回归问题，通过预获取的有标签的训练集对所述编码器网络进行调整，获得预训练好的二维人体关键点检测模型。
[0028]本专利技术系统的进一步改进在于，所述通过优化损失函数，反向梯度传播迭代更新编码器参数，获取低分辨率图像高层语义特征提取器中，
[0029]所述损失函数的表达式为，
[0030]式中，Z1和Z2是两种数据增广后样本经过编码器得到的特征，p1和p2分别是Z1和Z2经过投影器得到的高层特征；D(.,.)是向量之间的余弦相似度。
[0031]本专利技术系统的进一步改进在于，所述L
norm
‑2损失函数为，
[0032]式中，是真实值，是回归值，是网络的编码映射函数，v是单人全身图像，θ是网络参数，n是样本数，下标l指代是有标签数据，上标i指代第i个图片。
[0033]本专利技术第三方面提供的一种电子设备，包括：处理器；存储器，用于存储计算机程序指令；所述计算机程序指令由所述处理器加载并运行时，所述处理器执行本专利技术任一项上述的人体关键点检测方法。
[0034]本专利技术第四方面提供的一种可读存储介质，所述可读存储介质存储有计算机程序指令，所述计算机程序指令被处理器加载并运行时，所述处理器执行本专利技术任一项上述的人体关键点检测方法。
[0035]与现有技术相比，本专利技术具有以下有益效果：
[0036]本专利技术的方法是一种应用对比学习的低分辨率二维人体关键点检测方法，其通过对大量无标签行人数据进行降低分辨率数据增强，利用对比学习和无标签数据获取了低分辨率图片高层语义特征提取器，能够减少人工标注的依赖，是一种弱监督训练过程；另外，利用非对称的多层感知机设计及梯度停止策略，增加了训练过程的稳定性，减少了坍缩解的产生；再有，将低分辨率图片高层语义特征提取器结合部分标签数据进行低分辨率二维人体关键点检测微调，能够提高低分辨率二维人体关键点检测的准确率，是一种高效、稳定的低分辨率二维人体关键点检测方法。
附图说明
[0037]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体关键点检测方法，其特征在于，包括以下步骤：获取待检测图像；其中，所述待检测图像包括人体图像；将所述待检测图像输入预训练好的二维人体关键点检测模型中，输出获得二维人体关键点检测结果；其中，所述预训练好的二维人体关键点检测模型的获取步骤包括：将预获取的无标签训练数据集中的每张原始图像，以降低分辨率作为数据增强的方式进行处理，获得每张原始图像对应的降低分辨率数据增强图片；将每张原始图像及其对应的降低分辨率数据增强图片成对输入孪生网络，通过优化损失函数，反向梯度传播迭代更新编码器参数，获取低分辨率图像高层语义特征提取器；保留所述低分辨率图像高层语义特征提取器中的编码器网络，结合L
norm
‑2损失函数将关键点检测作为一个回归问题，通过预获取的有标签的训练集对所述编码器网络进行调整，获得预训练好的二维人体关键点检测模型。2.根据权利要求1所述的一种人体关键点检测方法，其特征在于，所述通过优化损失函数，反向梯度传播迭代更新编码器参数，获取低分辨率图像高层语义特征提取器中，所述损失函数的表达式为，式中，Z1和Z2是两种数据增广后样本经过编码器得到的特征，p1和p2分别是Z1和Z2经过投影器得到的高层特征；D(.,.)是向量之间的余弦相似度。3.根据权利要求1所述的一种人体关键点检测方法，其特征在于，所述L
norm
‑2损失函数为，式中，是真实值，是回归值，是网络的编码映射函数，v是单人全身图像，θ是网络参数，n是样本数，下标l指代是有标签数据，上标i指代第i个图片。4.根据权利要求1所述的一种人体关键点检测方法，其特征在于，所述孪生网络为共享参数的孪生CNN网络。5.根据权利要求1所述的一种人体关键点检测方法，其特征在于，所述以降低分辨率作为数据增强的方式进行处理的过程中，采用双线性插值算法进行处理。6.一种人体关键点检测系统，其特征在于，包括：获取模块，用于获取待检测图像；其中，...

【专利技术属性】
技术研发人员：司世景，王健宗，吴建汉，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：