一种基于关节点难例挖掘的人体姿态估计方法技术

本发明专利技术提供一种基于关节点难例挖掘的人体姿态估计方法，属于人体姿态估计领域。所述方法包括：获取人体姿态估计的公用数据集；对CMU

【技术实现步骤摘要】
一种基于关节点难例挖掘的人体姿态估计方法


[0001]本专利技术涉及人体姿态估计领域，特别是指一种基于关节点难例挖掘的人体姿态估计方法。

技术介绍

[0002]二维人体姿态估计方法大致分为两类：自上而下的多人二维人体姿态估计，自下而上的多人二维人体姿态估计。自上而下的方法指首先利用目标检测算法将图像中每个人检测出来。然后对每个检测框进行单人二维人体姿态估计。最终得到多人二维人体姿态估计结果。自上而下的方法精度较高，但是其效果很依赖于检测器的性能，而且其运行时间与图片中人的个数成正比。而自下而上的人体姿态的方法虽然精度相比于自上而下的方法较低，但是其网络运行时间随着图片中人数的增多基本保持不变。但是，该方法存在网络结构以及对较灵活关节点提取精度较差的问题。

技术实现思路

[0003]本专利技术实施例提供了一种基于关节点难例挖掘的人体姿态估计方法，能够提升对较难预测以及较灵活的关节点预测的准确度。所述技术方案如下：
[0004]本专利技术实施例提供了一种基于关节点难例挖掘的人体姿态估计方法，包括：
[0005]获取人体姿态估计的公用数据集；
[0006]对CMU
‑
Pose网络进行改进，将CMU
‑
Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，并引入关节点难例挖掘算法；其中，CMU
‑
Pose网络表示基于PAF的多人二维人体姿态估计网络；
[0007]利用公用数据集中的图像训练改进后的CMU
‑
Pose网络；
[0008]将待测图像输入训练好的改进后的CMU
‑
Pose网络得到人体姿态估计结果。
[0009]进一步地，所述公用数据集为COCO数据集。
[0010]进一步地，改进后的CMU
‑
Pose网络包括：引入注意力机制的F、stage 1和stage t；其中，F表示骨干网络，stage 1表示基础层，stage t表示优化层，t＝{2，3，4，5，6}；
[0011]所述引入注意力机制的骨干网络，用于获取关节点热力图与PAF图的底层特征；
[0012]所述基础层的输入是骨干网络产生的底层特征，输出为关节点热力图与PAF图两个分支，用于实现对图像进行粗略的人体姿态估计；
[0013]每个优化层的输入是骨干网络产生的底层特征和前一层结构输出的关节点热力图与PAF图两个分支，输出为关节点热力图与PAF图，用于结合底层特征与前层粗略的人体姿态估计结果进行精确的人体姿态估计。
[0014]进一步地，在ResNet网络中，输入图像在经过一系列卷积操作后得到输出U，对于输出U，引入通道上的注意力机制，其提取过程为：
[0015][0016]其中，z
c
为位于c通道上的特征，F
sq
()表示提取过程，u
c
为特征图U通道c的输入，H、
W分别为输入的高与宽，u
c
(i，j)为位于c通道上(i，j)处的像素值；
[0017]对于提取过程的输出z，激活过程为：
[0018]s＝F
ex
(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))
[0019]其中，s为激活过程F
ex
()的输出，W为ResNet网络需要学习到的大小为C
×
C的权重，g(z，W)为计算函数，使用深度学习中的全连接层计算，C为通道的数目，σ为sigmod函数，δ为Relu函数，W1和W2都表示全连接层；
[0020]经激活过程后，得到：
[0021][0022]其中，为特征图U经通道注意力机制后得到的特征图，s
c
为通过激活过程后通道c的权重，u
c
为特征图U通道c的输入，F
scale
()是指将通过激活过程后通道c的权重与特征图U通道c的输入相乘过程。
[0023]进一步地，所述CMU
‑
Pose网络引入关节点难例挖掘算法改进最后两个优化层对关节点热力图的损失函数，将最大的8个关节点对应的损失求和作为最后损失
[0024]进一步地，所述引入关节点难例挖掘算法改进最后两个优化层对关节点热力图的损失函数，将最大的8个关节点对应的损失求和作为最后损失包括：
[0025]定义关节点j在Stage t对关节点热力图S产生的损失函数为：
[0026][0027]其中，表示CMU
‑
Pose网络在Stage t阶段对于关节点j产生的热力图中p位置的预测值，为对应位置的真值，Stage t表示优化层t；
[0028]定义各个关节点在Stage t对关节点热力图S产生的损失J为：
[0029][0030]其中，按照从大到小的顺序排列，并记录对应关节点的ID到J中；
[0031]定义Stage t产生的关节点损失其大小为产生损失最大的前8个关节点损失之和：
[0032][0033]本专利技术实施例提供的技术方案带来的有益效果至少包括：
[0034]本专利技术实施例中，获取人体姿态估计的公用数据集；对CMU
‑
Pose网络进行改进，将CMU
‑
Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，以提升有用特征并抑制用处不大的特征，并引入关节点难例挖掘算法，提高对手腕脚踝等比较灵活及较难估计的关节点的提取效果；利用公用数据集中的图像训练改进后的CMU
‑
Pose网络；将待测图像输入训练好的改进后的CMU
‑
Pose网络得到人体姿态估计结果。这样，可以充分利用注意力机制与关节点难例挖掘算法的特点，并通过骨干网络替换，削弱底层特征提取不充分的影响，有效提高CMU
‑
Pose网络的精确度，并且提升对较难预测以及较灵活的关节点预测的准确度。
附图说明
[0035]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1为本专利技术实施例提供的基于关节点难例挖掘的人体姿态估计方法的流程示意图；
[0037]图2为本专利技术实施例提供的CMU
‑
Pose网络的结构示意图；
[0038]图3为本专利技术实施例提供的注意力机制工作原理示意图；
[0039]图4为本专利技术实施例提供的CMU
‑
Pose网络和SE
‑
ResNet
‑
OKHM
‑
CMU
‑
Pose网络对待测图像的对人体姿态估计图；
[0040]图5为本专利技术实施
‑‑‑‑
...

【技术保护点】

【技术特征摘要】
1.一种基于关节点难例挖掘的人体姿态估计方法，其特征在于，包括：获取人体姿态估计的公用数据集；对CMU
‑
Pose网络进行改进，将CMU
‑
Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，并引入关节点难例挖掘算法；其中，CMU
‑
Pose网络表示基于PAF的多人二维人体姿态估计网络；利用公用数据集中的图像训练改进后的CMU
‑
Pose网络；将待测图像输入训练好的改进后的CMU
‑
Pose网络得到人体姿态估计结果。2.根据权利要求1所述的基于关节点难例挖掘的人体姿态估计方法，其特征在于，所述公用数据集为COCO数据集。3.根据权利要求1所述的基于关节点难例挖掘的人体姿态估计方法，其特征在于，改进后的CMU
‑
Pose网络包括：引入注意力机制的F、stage 1和stage t；其中，F表示骨干网络，stage 1表示基础层，stage t表示优化层，t＝{2,3,4,5,6}；所述引入注意力机制的骨干网络，用于获取关节点热力图与PAF图的底层特征；所述基础层的输入是骨干网络产生的底层特征，输出为关节点热力图与PAF图两个分支，用于实现对图像进行粗略的人体姿态估计；每个优化层的输入是骨干网络产生的底层特征和前一层结构输出的关节点热力图与PAF图两个分支，输出为关节点热力图与PAF图，用于结合底层特征与前层粗略的人体姿态估计结果进行精确的人体姿态估计。4.根据权利要求1所述的基于关节点难例挖掘的人体姿态估计方法，其特征在于，在ResNet网络中，输入图像在经过一系列卷积操作后得到特征图U，对于特征图U，引入通道上的注意力机制，其提取过程为：其中，z
c
为位于c通道上的特征，F
sq
()表示提取过程，u
c
为特征图U通道c的输入...

【专利技术属性】
技术研发人员：曾慧，王雷，王臣良，
申请(专利权)人：北京科技大学顺德研究生院，
类型：发明
国别省市：