一种基于形状相似度的人体姿态估计方法及系统技术方案

本发明专利技术提供了一种基于形状相似度的人体姿态估计方法及系统，该方法包括：对图像中的每个人体检测对象进行目标检测和粗定位；计算每个人体检测对象的置信度得分，并提出基于交并比IOU的加权函数；对每个人体检测对象的检测框进行归一化处理，并通过形状相似度权重函数调整重叠检测框的得分；对单人最大得分检测框中的单人图片进行裁剪，并提取裁剪后单人图片的特征图；对输入的特征图进行关键点提取得到单人关键点热图，同时输出单个通道的人体标签热点预测图；从单人关键点热图中生成第一粗糙候选关键点，通过固定的关键点检测阈值得到第二粗糙候选关键点，并用人体标签热点预测图来细化所述第二粗糙候选关键点，以得到最终人体姿态估计结果。体姿态估计结果。体姿态估计结果。

【技术实现步骤摘要】
一种基于形状相似度的人体姿态估计方法及系统


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于形状相似度的人体姿态估计方法及系统。

技术介绍

[0002]目前，随着深度学习技术的发展以及深度学习技术在姿态估计中的应用，现阶段对于单人姿态估计和稀疏场景下的多人姿态估计，已经达到了比较好的水平，而针对拥挤场景时的多人姿态估计，所面临的研究才刚刚开始。
[0003]现有基于深度学习的多人姿态估计算法主要是两阶段算法，两阶段算法分为关键点检测和关键点分组两个阶段。虽然现有两阶段的多人姿态估计算法在稀疏场景下取得了较好的效果，但当处于拥挤场景下时，精度会有显著下降。其原因在于拥挤场景下人与人之间经常出现严重重叠，会对检测产生显著干扰。
[0004]对于基于两阶段算法的两阶段方法则可以分为两类：自顶向下的方法和自底向上的方法。
[0005]对于自顶向下的方法来说，在人体检测阶段，由于人与人之间的距离太近，在使用现有非极大值抑制算法区分冗余框和目标框时，会导致邻近的目标框被错误抑制；同时在后续的关键点检测阶段，由于场景较为拥挤目标框内不可避免的混入其余人体，因此会对关键点检测产生高干扰。
[0006]对于自底向上的方法来说，在关键点检测阶段，由于图像中所包含人的数量未知，且拥挤场景导致关键点之间会互相干扰，因此如何能够从关键点热点图解码出较为精确的候选关键点集是一个尚未解决的难题；而在关键点分组阶段，由于拥挤场景中常常出现的遮挡情况，会导致部分关键点难以检测，从而对最后的分组带来困难。<br/>[0007]自顶向下流程是当前最流行也是精度最高的多人姿态估计任务的解决方案。作为一种两阶段的方法，首先检测单个人所在的区域生成检测框，然后通过该检测框区域生成的热点图回归关键点坐标。
[0008]但是，在自上而下的方法中，在拥挤场景下单个人的检测框不可避免包含了其他人体，因此会出现无法避免的干扰问题。
[0009]以往的研究大多将深度神经网络作为一种强大的预测器，专注于改善网络结构以提高预测精度，但并没有从本质上真正解决这一问题。

技术实现思路

[0010]为了克服上述现有技术的不足，本专利技术提供了一种基于形状相似度的人体姿态估计方法及系统，通过基于形状相似度的非极大值的人体检测算法，进一步提高在拥挤场景下对人体姿态识别的精确度。
[0011]为解决上述问题，本专利技术的第一目的在于提供一种基于形状相似度的人体姿态估计方法，所述人体姿态估计方法包括：
[0012]S
100
：对图像中的每个人体检测对象进行目标检测，并对单人的边界框进行粗定位；
[0013]S
200
：计算每个人体检测对象的置信度得分，并提出基于交并比IOU的加权函数，以改变每个人体检测对象的检测框与最大得分检测框的交并比IOU大于人为设定阈值的置信度得分；
[0014]S
300
：对每个人体检测对象的检测框进行归一化处理，并通过形状相似度权重函数调整重叠检测框的得分，以得到所有人体检测对象中的单人最大得分检测框；
[0015]S
400
：对所述单人最大得分检测框中的单人图片进行裁剪，并通过CNN网络采样提取裁剪后单人图片的特征图；
[0016]S
500
：通过TransPose网络结构对输入的特征图进行关键点提取得到单人关键点热图，同时输出单个通道的人体标签热点预测图，以用于判断检测的关键点是否属于主要个体，
[0017]所述标签热点预测图用于给出关键点属于当前框中目标人体检测对象的置信度，以预测标签热点预测图的损失函数遵循关联嵌入提出的分组损失；
[0018]S
600
：从单人关键点热图中生成第一粗糙候选关键点，采用最大池化方法作为非极大抑制滤波器减少候选关键点的数量，通过固定的关键点检测阈值得到第二粗糙候选关键点，并用所述人体标签热点预测图来细化所述第二粗糙候选关键点，以得到最终的人体姿态估计结果。
[0019]可选的，在步骤S
100
中，所述对单人边界框的粗定位具体包括：
[0020]S
101
：对图片中的人体进行目标检测后，引进柔和非极大值抑制的后处理算法，选择所述人体检测对象的最大得分检测框；
[0021]S
102
：并将所述图像中剩余人体检测对象的检测框作为候选框组；
[0022]S
103
：依次计算所述候选框组中的检测框与所述最大得分检测框的交并比IOU。
[0023]可选的，在步骤S
200
中，所述提出基于交并比的加权函数soft
‑
nms的计算表达式式为：
[0024]f(iou(M,b
i
))＝(1
‑
iou(M,b
i
))，或者
[0025]f(iou(M,b
i
))＝exp(
‑
iou(M,b
i
)2/σ)
[0026]式中，M代表最大得分的检测框，b
i
代表人体检测对象，σ代表超参数，iou(M，b
i
)代表计算b
i
与M的交并比，exp代表取以e为底的指数运算，f(iou(M,b
i
))是一个基于交并比的加权函数，用于改变与M交并比大于N
t
的检测框的置信度得分；
[0027]并对评分函数进行了重构，所述评分函数s
i
的表达式为：
[0028][0029]式中，s
i
是人体检测对象b
i
的置信度得分，N
t
是根据实验人为设定的阈值。
[0030]可选的，在步骤S
300
中，所述对每个人体检测对象的检测框进行归一化处理，并通过形状相似度权重函数调整重叠检测框的得分，以得到所有人体检测对象中的单人最大得分检测框的具体步骤包括：
[0031]对要比较的检测框的高度h和宽度w进行归一化使其面积为1，以得到标准化框，归
一化后检测框的高度h
′
和宽度w
′
分别为：
[0032][0033][0034]其中：w是检测框的宽度，h是检测框的高度，w
′
是归一化后的检测框宽度，h
′
是归一化后检测框的高度；
[0035]根据标准化框的重叠区域，来计算形状相似度，所述形状相似度S的计算表达式为：
[0036]S＝min(w1′
,w2′
)*min(h1′
,h2′
)
[0037]基于形状相似度S的非极大值抑制，得到优化后的评分函数S
i
′
为：
[0038][0039]g(S(M,b
i...

【技术保护点】

【技术特征摘要】
1.一种基于形状相似度的人体姿态估计方法，其特征在于，包括：S
100
：对图像中的每个人体检测对象进行目标检测，并对单人的边界框进行粗定位；S
200
：计算每个人体检测对象的置信度得分，并提出基于交并比IOU的加权函数，以改变每个人体检测对象的检测框与最大得分检测框的交并比IOU大于人为设定阈值的置信度得分；S
300
：对每个人体检测对象的检测框进行归一化处理，并通过形状相似度权重函数调整重叠检测框的得分，以得到所有人体检测对象中的单人最大得分检测框；S
400
：对所述单人最大得分检测框中的单人图片进行裁剪，并通过CNN网络采样提取裁剪后单人图片的特征图；S
500
：通过TransPose网络结构对输入的特征图进行关键点提取得到单人关键点热图，同时输出单个通道的人体标签热点预测图，以用于判断检测的关键点是否属于主要个体，所述标签热点预测图用于给出关键点属于当前框中目标人体检测对象的置信度，以预测标签热点预测图的损失函数遵循关联嵌入提出的分组损失；S
600
：从单人关键点热图中生成第一粗糙候选关键点，采用最大池化方法作为非极大抑制滤波器减少候选关键点的数量，通过固定的关键点检测阈值得到第二粗糙候选关键点，并用所述人体标签热点预测图来细化所述第二粗糙候选关键点，以得到最终的人体姿态估计结果。2.根据权利要求1所述的基于形状相似度的人体姿态估计方法，其特征在于，在步骤S
100
中，所述对单人边界框的粗定位具体包括：S
101
：对图片中的人体进行目标检测后，引进柔和非极大值抑制的后处理算法，选择所述人体检测对象的最大得分检测框；S
102
：并将所述图像中剩余人体检测对象的检测框作为候选框组；S
103
：依次计算所述候选框组中的检测框与所述最大得分检测框的交并比IOU。3.根据权利要求1所述的基于形状相似度的人体姿态估计方法，其特征在于，在步骤S
200
中，所述提出基于交并比的加权函数soft
‑
nms的计算表达式式为：f(iou(M,b
i
))＝(1
‑
iou(M,b
i
))，或者f(iou(M,b
i
))＝exp(
‑
iou(M,b
i
)2/σ)式中，M代表最大得分的检测框，b
i
代表人体检测对象，σ代表超参数，iou(M，b
i
)代表计算b
i
与M的交并比，exp代表取以e为底的指数运算，f(iou(M,b
i
))是一个基于交并比的加权函数，用于改变与M交并比大于N
t
的检测框的置信度得分；并对评分函数进行了重构，所述评分函数s
i
的表达式为：式中，s
i
是人体检测对象b
i
的置信度得分，N
t
是根据实验人为设定的阈值。4.根据权利要求1所述的基于形状相似度的人体姿态估计方法，其特征在于，在步骤S
300
中，所述对每个人体检测对象的检测框进行归一化处理，并通过形状相似度权重函数调整重叠检测框的得分，以得到所有人体检测对象中的单人最大得分检测框的具体步骤包括：
对要比较的检测框的高度h和宽度w进行归一化使其面积为1，以得到标准化框，归一化后检测框的高度h
′
和宽度w
′
分别为：分别为：其中：w是检测框的宽度，h是检测框的高度，w
′
是归一化后的检测框宽度，h
′
是归一化后检测框的高度；根据标准化框的重叠区域，来计算形状相似度，所述形状相似度S的计算表达式为：S＝min(w
′...

【专利技术属性】
技术研发人员：黄浩，魏龙生，喻学孚，赵雷，廖宇航，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：