一种人体关键点检测方法及系统技术方案

本发明专利技术公开了一种人体关键点检测方法及系统，该方法包括，步骤1、构建人体关键点估计网络，所述人体关键点估计网络包括多尺度特征提取模块、检测头模块、人体位置框检测模块、感兴趣区域对齐模块和人体关键点检测模块；步骤2、利用训练数据集训练所述人体关键点估计网络，得到人体关键点估计模型；步骤3、将待检测图像输入所述人体关键点估计模型，输出不同尺度的人体关键点预测坐标；步骤4、对不同尺度的所述人体关键点预测坐标进行融合，得到人体关键点坐标。本发明专利技术是在自顶而下的基础上次加以改进，采用一次前向推理的结构，即只需要单个模型就可实现人体位置的检测和人体关键点的检测，确保了检测精度的同时，又提高了运行效率。率。率。

【技术实现步骤摘要】
一种人体关键点检测方法及系统


[0001]本专利技术涉及计算机视觉
，尤其涉及一种人体关键点检测方法及系统。

技术介绍

[0002]人体关键点检测通过对人体主要骨骼点(关键点)的位置预测，实现人体姿态估计。人体姿态估计是计算机视觉领域的基础任务之一，可广泛应用于动作识别、行人跟踪、自动驾驶、人机交互等领域。行业内的技术采用分为自底而上(bottom
‑
up)和自顶而下(top
‑
down)两种思路。
[0003]自底而上的方法直接从原图检测人体关键点，再根据不同关键点间的关系进行分组。自顶而下的方法先检测行人区域，再对每个行人进行关键点检测，可视为行人检测和单人姿态估计的组合。通常自顶而下的技术方案的准确性要高于自底而上，但是效率却要低于自底而下。
[0004]为了实现高精度的人体关键点检测，专利技术专利一种多人人体姿态估计方法(CN111339903B)，公开了采用自底向上与自顶向下两种方法结合的两阶段训练方法，训练深度特征人体关键点检测模型，首先进行自底向上的方法训练该深度特征人体关键点检测模型，然后进行自顶向下的方法训练该深度特征人体关键点检测模型，最终利用两阶段训练好深度特征人体关键点检测模型检测人体关键点，采用自底向上训练深度特征人体关键点检测模型，输出人体关键点检测置信度热图；采用自顶向下训练深度特征人体关键点检测模型，识别裁剪后的图像中的所有人体关键点。
[0005]上述方法，可实现图像中多人体关键点的识别，但模型训练过程复杂，特提出本专利技术，本专利技术是在自顶而下的基础上次加以改进，在确保自顶而下技术方案的准确性的同时，又提高了运行效率。

技术实现思路

[0006]本专利技术的专利技术目的是针对现有技术的不足，提供了一种人体关键点检测方法及系统，可精确实现人体关键点的估计，适用范围广。
[0007]第一方面，本申请提供一种人体关键点检测方法，包括：
[0008]步骤1，构建人体关键点估计网络，所述人体关键点估计网络包括多尺度特征提取模块、检测头模块、人体位置框检测模块、感兴趣区域对齐模块和人体关键点检测模块；
[0009]所述多尺度特征提取模块用于接受输入图像并输出多个尺度的特征图；
[0010]所述检测头模块用于接受特征图并输出多个尺度的检测头特征图；
[0011]所述人体位置框检测模块用于接受检测头特征图并输出多个尺度的预测人体位置框；
[0012]所述感兴趣区域对齐模块用于接受检测头特征图、人体位置框并输出多个尺度的对齐特征图；
[0013]所述人体关键点检测模块用于接受对齐特征图并输出不同尺度的人体关键点预
测坐标；
[0014]步骤2，利用训练数据集训练所述人体关键点估计网络，得到人体关键点估计模型；
[0015]步骤3，将待检测图像输入所述人体关键点估计模型，输出不同尺度的人体关键点预测坐标；
[0016]步骤4，对不同尺度的所述人体关键点预测坐标进行融合，得到人体关键点坐标。
[0017]进一步地，所述多尺度特征图提取模块输出4个尺度的特征图，所述检测头模块输出4个尺度的检测头特征图，所述人体位置框检测模块输出4个尺度的预测人体位置框；所述感兴趣区域对齐模块输出4个尺度的对齐特征图，所述人体关键点检测模块输出4个不同尺度的17个人体关键点预测坐标。
[0018]进一步地，所述多尺度特征图提取模块包括Backbone特征提取模块、自上而下多尺度特征融合模块以及自下而上多尺度特征融合模块。
[0019]进一步地，所述Backbone特征提取模块采用多个残差网络块，得到至少4个尺度的特征图，输出分辨率从小到大的最后4个尺度的特征图，分别为：BONE
end
，BONE
end
‑1，BONE
end
‑2，BONe
end
‑3；
[0020]所述自上而下多尺度特征融合模块，输出4个尺度的特征图，分辨率从小到大分别为UP
end
，UP
end
‑1，UP
end
‑2，UP
end
‑3，其中，UP
end
通过对BONE
end
进行卷积操作得到；UP
end
‑1通过对UP
end
进行转置卷积并加上BONE
end
‑1的卷积操作后得到；UP
end
‑2通过对UP
end
‑1进行转置卷积并加上BONE
end
‑2的卷积操作后得到；UP
end
‑3通过对UP
end
‑2进行转置卷积并加上BONE
end
‑3的卷积操作后得到；
[0021]所述自下而上多尺度特征融合模块，输出4个尺度的特征图，分辨率从小到大分别为DOWN
end
，DOWN
end
‑1，DOWN
end
‑2，DOWN
end
‑3，其中，DOWN
end
‑3通过对UP
end
‑3卷积操作得到；DOWN
end
‑2通过对DOWN
end
‑3卷积操作并加上UP
end
‑2的卷积操作后得到；DOWN
end
‑1通过对DOWN
end
‑2卷积操作并加上UP
end
‑1的卷积操作后得到；DOWN
end
通过对DOWN
end
‑1卷积操作并加上UP
end
的卷积操作后得到。
[0022]进一步地，所述检测头模块通过对4个尺度的特征图分别做卷积操作，输出4个尺度的检测头特征图，分别为：Head
end
，Head
end
‑1，Head
end
‑2，Head
end
‑3。
[0023]进一步地，所述人体位置框检测模块分别对4个尺度的检测头特征图做卷积操作，得到4个尺度的预测人体位置框，分别为BOX
end
，BOX
end
‑1，BOX
end
‑2，BOX
end
‑3，为每个尺度中的每个像素预测至少1个anchor，每个anchor预测6个值，分别为人体位置框的中心位置的横坐标、人体位置框的中心位置的纵坐标、人体位置框相对中心位置宽的偏移量、人体位置框相对中心位置高的偏移量、目标存在的置信度box
conf
以及人体类别置信度human
conf
。
[0024]进一步地，所述预测人体位置框的特征图的通道数为18，为每个像素预测3个anchor。
[0025]进一步地，所述感兴趣区域对齐模块采用感兴趣区域对齐技术，输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体关键点检测方法，其特征在于，包括：步骤1、构建人体关键点估计网络，所述人体关键点估计网络包括多尺度特征提取模块、检测头模块、人体位置框检测模块、感兴趣区域对齐模块和人体关键点检测模块；所述多尺度特征提取模块用于接受输入图像并输出多个尺度的特征图；所述检测头模块用于接受特征图并输出多个尺度的检测头特征图；所述人体位置框检测模块用于接受检测头特征图并输出多个尺度的预测人体位置框；所述感兴趣区域对齐模块用于接受检测头特征图、人体位置框并输出多个尺度的对齐特征图；所述人体关键点检测模块用于接受对齐特征图并输出不同尺度的人体关键点预测坐标；步骤2、利用训练数据集训练所述人体关键点估计网络，得到人体关键点估计模型；步骤3、将待检测图像输入所述人体关键点估计模型，输出不同尺度的人体关键点预测坐标；步骤4、对不同尺度的所述人体关键点预测坐标进行融合，得到人体关键点坐标。2.根据权利要求1所述的一种人体关键点检测方法，其特征在于，所述多尺度特征图提取模块输出4个尺度的特征图，所述检测头模块输出4个尺度的检测头特征图，所述人体位置框检测模块输出4个尺度的预测人体位置框；所述感兴趣区域对齐模块输出4个尺度的对齐特征图，所述人体关键点检测模块输出4个不同尺度的17个人体关键点预测坐标。3.根据权利要求2所述的一种人体关键点检测方法，其特征在于，所述多尺度特征图提取模块包括Backbone特征提取模块、自上而下多尺度特征融合模块以及自下而上多尺度特征融合模块。4.根据权利要求3所述的一种人体关键点检测方法，其特征在于，所述Backbone特征提取模块采用多个残差网络块，得到至少4个尺度的特征图，输出分辨率从小到大的最后4个尺度的特征图，分别为：BONE
end
，BONE
end
‑1，BONE
end
‑2，BONe
end
‑3；所述自上而下多尺度特征融合模块，输出4个尺度的特征图，分辨率从小到大分别为UP
end
，UP
end
‑1，UP
end
‑2，UP
end
‑3，其中，UP
end
通过对BONE
end
进行卷积操作得到；UP
end
‑1通过对UP
end
进行转置卷积并加上BONE
end
‑1的卷积操作后得到；UP
end
‑2通过对UP
end
‑1进行转置卷积并加上BONE
end
‑2的卷积操作后得到；UP
end
‑3通过对UP
end
‑2进行转置卷积并加上BONE
end
‑3的卷积操作后得到；所述自下而上多尺度特征融合模块，输出4个尺度的特征图，分辨率从小到大分别为DOWN
end
，DOWN
end
‑1，DOWN
end
‑2，DOWN
end
‑3，其中，DOWN
end
‑3通过对UP
end
‑3卷积操作得到；DOWN
end
‑2通过对DOWN
end
‑3卷积操作并加上UP
end
‑2的卷积操作后得到；DOWN
end
‑1通过对DOWN
end
‑2卷积操作并加上UP
end
‑1的卷积操作后得到；DOWN
end
通过对DOWN
end
‑1卷积操作并加上UP
end
的卷积操作后得到。5.根据权利要求2所述的一种人体关键点检测方法，其特征在于，所述检测头模块通过对4个尺度的特征图分别做卷积操作，输出4个尺度的检测头特征图，分别为：Head
end
，Head
end
‑1，Head
end
‑2，Head
end
‑3；所述人体位置框检测模块分别对4个尺度的检测头特征图做卷积操作，得到4个尺度的预测人体位置框，分别为BOX
end
，BOX
end
‑1，BOX
e...

【专利技术属性】
技术研发人员：李继凯，
申请(专利权)人：北京优创新港科技股份有限公司，
类型：发明
国别省市：