一种单目标人体关键点检测方法、系统、设备及介质技术方案

本发明专利技术提供的一种基于单目标人体关键点检测方法、系统、设备及介质，通过获取一个或多个初始的单目标图像；对获取的一个或多个初始的单目标图像进行场景增强，基于场景增强后的单目标图像对单目标人体关键点检测算法进行学习训练，生成单目标人体检测模型；根据生成的单目标人体检测模型获取一个或多个初始的单目标图像中的人体关键点以及对应的可见度信息。本发明专利技术不仅能够对单目标图像进行人体关键点检测，还可以针对模糊、遮挡、截断、异常姿态等复杂场景下进行优化，提升了复杂场景下检测人体关键点的精度。而且本发明专利技术还可以采用参数量、计算量较小的模型及算子，利用模型量化加速模型推理，减小推理耗时。

【技术实现步骤摘要】
一种单目标人体关键点检测方法、系统、设备及介质
本专利技术涉及图像识别
，特别是涉及一种单目标人体关键点检测方法、系统、设备及介质。
技术介绍
在行人视频结构化、行人重识别等应用场景中，获取人体检测结果之后，需要进一步获取人体姿态信息，以便后续计算人体行为、人体完整度等相关信息。而人体姿态估计需要确定人体头部、躯干、手、脚等多个关节部位的位置。因此，本专利技术提出一种利用人体关键点的形式描述人体姿态，其中一个人体关键点表示一个人体关节。由于可以通过人体检测模块获取单个人体区域位置，所以需要进行单目标人体关键点检测。然而，现有的主流人体关键点算法模型较大，且后处理耗时较长，不适用于要求快速响应的实际视频监控场景；并且实际场景中的模糊、遮挡、截断、异常姿态等情况都会给人体关键点的检测带来难度。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种单目标人体关键点检测方法、系统、设备及介质，用于解决现有技术中存在的技术问题。为实现上述目的及其他相关目的，本专利技术提供一种单目标人体关键点检测方法，包括以下步骤：获取一个或多个初始的单目标图像；其中，所述单目标图像仅包括单个目标对象；对所述一个或多个初始的单目标图像进行场景增强，基于场景增强后的单目标图像对单目标人体关键点检测算法进行学习训练，生成单目标人体检测模型；所述场景包括以下至少之一：模糊、擦除、遮挡、截断、姿态；根据所述单目标人体检测模型获取待检测的一个或多个单目标图像中的人体关键点以及对应的可见度信息。可选地，对所述一个或多个初始的单目标图像进行场景增强的具体方式包括以下至少之一：采用高斯模糊对一个或多个初始的单目标图像进行模糊增强、采用运动模糊对一个或多个初始的单目标图像进行模糊增强、采用随机擦除对一个或多个初始的单目标图像进行遮挡增强、采用半身遮挡对一个或多个初始的单目标图像进行遮挡增强、采用随机裁剪对一个或多个初始的单目标图像进行截断增强、采用半身截断对一个或多个初始的单目标图像进行截断增强。可选地，若采用随机擦除对一个或多个初始的单目标图像进行遮挡增强，则增强流程包括：从所述一个或多个初始的单目标图像中随机选择目标区域，判断左上角坐标与所述目标区域宽高尝试次数是否小于第一阈值；若小于第一阈值，则计算所述目标区域包含人体关键点的数量是否小于第二阈值；若不小于第二阈值，则重新选择目标区域；若小于第二阈值，则使用随机像素值覆盖所述目标区域，并调整擦除区域的人体关键点可见度为不可见；输出完成遮挡增强的单目标图像；若不小于第一阈值，则直接输出单目标图像。可选地，若采用半身遮挡对一个或多个初始的单目标图像进行遮挡增强，则增强流程包括：判断所述一个或多个初始的单目标图像是否使用实际物体遮挡；若未使用实际物体遮挡，则生成适应目标对象人体下半身大小的随机像素值区域；使用生成的随机像素值区域覆盖所述目标对象的人体下半身；若使用了实际物体遮挡，则随机选取一种遮挡物图像，将遮挡物图像缩放至适应目标对象人体下半身大小；使用选取的遮挡物图像覆盖所述目标对象的人体下半身；在覆盖所述目标图像的人体下半身后，调整目标对象的人体下半身遮挡区域关键点可见度为不可见；并输出完成遮挡增强的单目标图像。可选地，若采用半身截断对一个或多个初始的单目标图像进行截断增强，则增强流程包括：判断所述一个或多个初始的单目标图像是否进行了上下截断或左右截断；若所述一个或多个初始的单目标图像进行了上下截断，则再次判断是上半身截断或下半身截断；若是上半身截断，则在完成上半身截断后提取上半身区域关键点；若是下半身截断，在完成下半身截断后提取下半身区域关键点；若所述一个或多个初始的单目标图像进行了左右截断，则再次判断是左半身截断或右半身截断；若是左半身截断，则在完成左半身截断后提取左半身区域关键点；若是右半身截断，在完成右半身截断后提取右半身区域关键点；计算提取的所有半身区域关键点的最小外接框，并对所述最小外接框进行扩大；修剪扩大后的外接框，生成截断图；输出所述截断图，完成对所述单目标图像的截断增强。可选地，生成单目标人体检测模型的过程包括：通过卷积神经网络从完成场景增强后的单目标图像中提取人体关键点和人体关键点可见度；对提取的人体关键点进行回归，以及对人体关键点可见度进行分类；基于回归后的人体关键点和分类后的人体关键点可见度计算训练损失，并根据计算出的训练损失学习训练单目标人体关键点检测算法，生成所述单目标人体检测模型。可选地，在生成单目标人体检测模型过程中，包括通过回归head网络对提取的人体关键点进行回归，预测人体关键点位置横纵坐标；以及通过分类head网络对人体关键点可见度进行分类，预测关键点可见度类别；其中，回归head网络和/或分类head网络包括以下至少之一：全连接网络、1x1卷积网络。可选地，在生成单目标人体检测模型的过程中，还包括：按照预设排序规则对目标样本的训练损失进行排序，并按照预设权重系数对排序后的训练损失赋予目标权重；其中，目标样本由场景增强后的一个或多个单目标图像组成；对赋予目标权重后的训练损失进行加权平均，并根据加权平均后的训练损失优化目标样本中的人体姿态；通过优化人体姿态后的目标样本训练单目标人体检测算法，生成所述单目标人体检测模型。可选地，在生成所述单目标人体模型后，还包括封装所述单目标人体模型，形成软件开发工具包。本专利技术还提供一种单目标人体关键点检测系统，包括有：图像采集模块，用于获取一个或多个初始的单目标图像；其中，所述单目标图像仅包括单个目标对象；图像增强模块，用于对所述一个或多个初始的单目标图像进行场景增强；所述场景包括以下至少之一：模糊、擦除、遮挡、截断、姿态；模型训练模块，用于基于场景增强后的单目标图像对单目标人体关键点检测算法进行学习训练，生成单目标人体检测模型；关键点检测模块，用于根据所述单目标人体检测模型获取待检测的一个或多个单目标图像中的人体关键点以及对应的可见度信息。可选地，所述图像增强模块对所述单目标图像进行场景增强的具体方式包括以下至少之一：采用高斯模糊对一个或多个初始的单目标图像进行模糊增强、采用运动模糊对一个或多个初始的单目标图像进行模糊增强、采用随机擦除对一个或多个初始的单目标图像进行遮挡增强、采用半身遮挡对一个或多个初始的单目标图像进行遮挡增强、采用随机裁剪对一个或多个初始的单目标图像进行截断增强、采用半身截断对一个或多个初始的单目标图像进行截断增强。可选地，在生成所述单目标人体模型后，还包括封装所述单目标人体模型；以及对封装后的单目标人体模型进行推理和量化；并将推理和量化后的模型输出转化为图像坐标系下的输出坐标；根据所述输出坐标获取一个或多个初始的单目标图像中的人体关键点以及对应的可见度信息。可选地，若采用随机擦除对一个或多个初始的单目标图像本文档来自技高网...

【技术保护点】
1.一种单目标人体关键点检测方法，其特征在于，包括以下步骤：/n获取一个或多个初始的单目标图像；其中，所述单目标图像仅包括单个目标对象；/n对所述一个或多个初始的单目标图像进行场景增强，基于场景增强后的单目标图像对单目标人体关键点检测算法进行学习训练，生成单目标人体检测模型；所述场景包括以下至少之一：模糊、擦除、遮挡、截断、姿态；/n根据所述单目标人体检测模型获取待检测的一个或多个单目标图像中的人体关键点以及对应的可见度信息。/n

【技术特征摘要】
1.一种单目标人体关键点检测方法，其特征在于，包括以下步骤：
获取一个或多个初始的单目标图像；其中，所述单目标图像仅包括单个目标对象；
对所述一个或多个初始的单目标图像进行场景增强，基于场景增强后的单目标图像对单目标人体关键点检测算法进行学习训练，生成单目标人体检测模型；所述场景包括以下至少之一：模糊、擦除、遮挡、截断、姿态；
根据所述单目标人体检测模型获取待检测的一个或多个单目标图像中的人体关键点以及对应的可见度信息。


2.根据权利要求1所述的单目标人体关键点检测方法，其特征在于，对所述一个或多个初始的单目标图像进行场景增强的具体方式包括以下至少之一：采用高斯模糊对一个或多个初始的单目标图像进行模糊增强、采用运动模糊对一个或多个初始的单目标图像进行模糊增强、采用随机擦除对一个或多个初始的单目标图像进行遮挡增强、采用半身遮挡对一个或多个初始的单目标图像进行遮挡增强、采用随机裁剪对一个或多个初始的单目标图像进行截断增强、采用半身截断对一个或多个初始的单目标图像进行截断增强。


3.根据权利要求2所述的单目标人体关键点检测方法，其特征在于，若采用随机擦除对一个或多个初始的单目标图像进行遮挡增强，则增强流程包括：
从所述一个或多个初始的单目标图像中随机选择目标区域，判断左上角坐标与所述目标区域宽高尝试次数是否小于第一阈值；
若小于第一阈值，则计算所述目标区域包含人体关键点的数量是否小于第二阈值；若不小于第二阈值，则重新选择目标区域；若小于第二阈值，则使用随机像素值覆盖所述目标区域，并调整擦除区域的人体关键点可见度为不可见；输出完成遮挡增强的单目标图像；
若不小于第一阈值，则直接输出单目标图像。


4.根据权利要求2所述的单目标人体关键点检测方法，其特征在于，若采用半身遮挡对一个或多个初始的单目标图像进行遮挡增强，则增强流程包括：
判断所述一个或多个初始的单目标图像是否使用实际物体遮挡；
若未使用实际物体遮挡，则生成适应目标对象人体下半身大小的随机像素值区域；使用生成的随机像素值区域覆盖所述目标对象的人体下半身；
若使用了实际物体遮挡，则随机选取一种遮挡物图像，将遮挡物图像缩放至适应目标对象人体下半身大小；使用选取的遮挡物图像覆盖所述目标对象的人体下半身；
在覆盖所述目标图像的人体下半身后，调整目标对象的人体下半身遮挡区域关键点可见度为不可见；并输出完成遮挡增强的单目标图像。


5.根据权利要求2所述的单目标人体关键点检测方法，其特征在于，若采用半身截断对一个或多个初始的单目标图像进行截断增强，则增强流程包括：
判断所述一个或多个初始的单目标图像是否进行了上下截断或左右截断；
若所述一个或多个初始的单目标图像进行了上下截断，则再次判断是上半身截断或下半身截断；若是上半身截断，则在完成上半身截断后提取上半身区域关键点；若是下半身截断，在完成下半身截断后提取下半身区域关键点；
若所述一个或多个初始的单目标图像进行了左右截断，则再次判断是左半身截断或右半身截断；若是左半身截断，则在完成左半身截断后提取左半身区域关键点；若是右半身截断，在完成右半身截断后提取右半身区域关键点；
计算提取的所有半身区域关键点的最小外接框，并对所述最小外接框进行扩大；
修剪扩大后的外接框，生成截断图；输出所述截断图，完成对所述单目标图像的截断增强。


6.根据权利要求1所述的单目标人体关键点检测方法，其特征在于，生成单目标人体检测模型的过程包括：
通过卷积神经网络从完成场景增强后的单目标图像中提取人体关键点和人体关键点可见度；
对提取的人体关键点进行回归，以及对人体关键点可见度进行分类；
基于回归后的人体关键点和分类后的人体关键点可见度计算训练损失，并根据计算出的训练损失学习训练单目标人体关键点检测算法，生成所述单目标人体检测模型。


7.根据权利要求6所述的单目标人体关键点检测方法，其特征在于，在生成单目标人体检测模型过程中，包括通过回归head网络对提取的人体关键点进行回归，预测人体关键点位置横纵坐标；
以及通过分类head网络对人体关键点可见度进行分类，预测关键点可见度类别；
其中，回归head网络和/或分类head网络包括以下至少之一：全连接网络、1x1卷积网络。


8.根据权利要求6所述的单目标人体关键点检测方法，其特征在于，在生成单目标人体检测模型的过程中，还包括：
按照预设排序规则对目标样本的训练损失进行排序，并按照预设权重系数对排序后的训练损失赋予目标权重；其中，目标样本由场景增强后的一个或多个单目标图像组成；
对赋予目标权重后的训练损失进行加权平均，并根据加权平均后的训练损失优化目标样本中的人体姿态；
通过优化人体姿态后的目标样本训练单目标人体检测算法，生成所述单目标人体检测模型。


9.根据权利要求1至8中任一所述的单目标人体关键点检测方法，其特征在于，在生成所述单目标人体模型后，还包括封装所述单目标人体模型，形成软...

【专利技术属性】
技术研发人员：姚志强，周曦，秦勤，
申请(专利权)人：广州云从凯风科技有限公司，
类型：发明
国别省市：广东;44