一种使用边界框约束的自底向上的多人姿态估计方法技术

本发明专利技术提出了一种使用边界框约束的自底向上的多人姿态估计方法，主要过程如下：首先重新改进了现有的多人姿态估计神经网络，使之准确度更高。其次设计了一种使用边界框的贪心算法，用于姿态解析。另外，还设计了一种非极大抑制重复姿态检测及去除算法，用于去除重复的结果。最后，使用了一种简单的基于贪心的缺失关节点补全算法，使得得到的结果更加精确。

【技术实现步骤摘要】
一种使用边界框约束的自底向上的多人姿态估计方法
本专利技术提出了一种改进后的神经网络，可以得到更加精确的结果，其次针对多人姿态估计中现有方法由于遮挡、复杂姿态等因素而存在的问题，提出了一种使用边界框的后处理算法，保证结果的正确性。
技术介绍
多人人体姿态估计是计算机视觉领域的一项非常有挑战的工作。多人姿势估计旨在找出图像中所有人的骨骼关键点。由于身体姿态的高度灵活性、自我以及外部的遮挡、不同的衣服、罕见的姿势等原因，户外多人的姿势估计是非常具有挑战性的。由于深度卷积神经网络的出现，现有的多人姿态估计大致可分为两类：自底向上的方法和自顶向下的方法。自顶向下的方法首先通过人体检测器获取候选人，然后执行单人姿势估计。自底向上的方法直接预测关键点，然后将它们组成所有人的完整姿势。但是两种方法都有着各自的缺点：自顶向下的方法对人体检测器的准确度有着很高的要求，而且时间复杂度随着图片中的人数线性增长；自底向上的方法在严重遮挡的情况下无法得到理想的结果。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供一种准确且高效的多人姿态估计方法。本专利技术是通过以下技术方案实现的：使用边界框约束的自底向上的多人姿态估计方法，具体包括以下步骤：(1)边界框检测：使用人体检测器，获得图片中的人的边界框Bi；(2)获取网络输出：将图片送入我们设计的神经网络，获得图片的置信图以及方向场信息，所述神经网络通过以下方法得到：从数据集中获取训练样本，以图片作为输入，以每个图片对应的14个关节的置信图Sj和13个方向场Lc作为输出，j＝1,2,…,14；c＝1,2,…，13，进行神经网络训练，网络结构如下表所示：第三阶段至第六阶段的结构与第二阶段相同，第六阶段的置信图的第7层与方向场的第7层为网络最终的输出。训练样本中，第j个关节置信图Sj中包含第j个关节的置信度信息和位置信息；置信图Sj中，位置p处的置信度为：其中，表示位置p在置信图Sj中相对于第k个人的关节置信度，xj,k表示第k个人的关节j的位置坐标，σ为高斯函数的阈值；网络的方向场，编码关节之间的连接关系，是对位置和方向信息进行编码的二维矢量场。在第c个连接的方向场Lc中，位置p的方向场为：为位置p在方向场Lc中相对于第k个人的方向场，nc(p)是相关连接的数量，对于相关相连连接，v是连接c的单位向量。(3)姿态解析：对网络输出的置信图Sj和方向场Lc，在步骤1中获得的每一个边界框Bi中，使用贪心算法，进行姿态解析，贪心算法具体步骤如下：对于每个边界框Bi，首先对于关节点j，从置信图Sj中找到若干个局部最大值，其坐标作为关节点j的坐标xj。任意两个相邻关节点j1,j2组成的连接c，计算一个可信度s(j1,j2)，该可信度被定义为：其中Q是在连接c上均匀采样的若干个点，d是两个点之间的方向向量，被定义为d＝xj1-xj2。Lc(q)表示位置q的网络输出的方向场；接下来对于人体的每一个枝干上的连接c按照可信度降序遍历，对于c的两个关节点j1,j2中，如果任意一个之前的遍历过程中已经遇到过，则跳过这个连接；如果j1不属于任何一个人的姿态，那么新建一个姿态，并把j1,j2加入这个姿态中；如果j1已经属于某个人的姿态，那么把j2也加入这个人的姿态。经过以上操作，每个边界框中都会解析得到若干个人体姿态。(4)姿态去重：注意到一个边界框中可能有多个人，对于第3步中得到的姿态解析的结果进行处理，去除多余的姿态，每个边界框仅保留一个人的姿态估计，具体过程如下：首先，选择最可靠的姿态(置信度最大的)作为参考姿态Y，然后通过消除准则来消除接近Y的另一姿态Y′。在所有姿态集上重复此过程，直到一个边界框中最多只有一个姿态。对于一个姿态Y，通过姿态所占的面积，姿态中关节点的置信度以及连接的置信度，来计算姿态的置信度，具体计算公式如下：其中s1(Y)是关节点的平均置信度，通过网络输出得到，s2(Y)是姿态Y中所有连接的平均可信度，B′(Y)是姿态的最小边界框，B(Y)是初始边界框，S()计算边界框的面积，α,β,γ是一组阈值。消除准则定义了消除重复姿态的方法，通过两个姿态之间的距离函数来判断两个姿态是否相同，Y,Y′之间的距离函数被定义为：nY表示姿态Y中的节点数量；Yj表示姿态Y中关节j的位置；若d(Y,Y′)<D，则Y,Y′为同一姿态，否则为两个不同姿态；D为阈值。(5)姿态补全：对于姿态Y中的每个缺失关节j，按照置信度从大到小遍历网络输出的置信图Sj中的局部最大值对应的点，直到找到没有出现在其他姿态中的点。然后我们将这一点加入姿态Y。进一步地，所述步骤1中使用了YOLOv2作为人体检测器。进一步地，所述步骤2中在特征提取阶段使用了ResNet作为特征提取器。进一步地，所述步骤2中使用了卷积核大小为4×4，步长为2的反卷积层对特征图进行两倍上采样。进一步地，训练网络使用了以下数据集中的样本：MSCOCO：http://cocodataset.org/n#keypoints-eval。AIChallenger：https://challenger.ai/competition/keypoint/subject。本专利技术的有益效果在于：可以更好地处理拥挤的图像，能够避免不同姿势间的错误传播，且有效解决了姿态被截断的问题。本专利技术在多人姿态估计问题中，精度和运行时间方面都有更好的表现。附图说明图1：网络输出的可视化结果，左图是网络输出的右手腕关节的置信图，右图是网络输出的右下臂的方向场。图2：姿态解析的结果，左右两图分别展示了在两个边界框中的解析结果。图3：姿态去重的结果，对左图进行姿态去重，去除粗线表示的冗余姿态后可以得到右图。图4：姿态补全的结果，图中缺失的左脚关节点被补全。图5：本专利技术在AIChallenger(左图)和MSCOCO(右图)数据集上的结果。本专利技术的方法可以处理包含视点和外观变化，遮挡，拥挤以及非标准姿势的图像。图6：从左到右依次为：使用单人姿势估计的自顶向下方法的估计结果、自底向上方法的估计结果、本专利技术的估计结果。图7：从左到右依次为：使用单人姿势估计的自顶向下方法的估计结果、自底向上方法的估计结果、本专利技术的估计结果。具体实施方式使用边界框约束的自底向上的多人姿态估计方法，具体包括以下步骤：(1)边界框检测：使用YOLOv2(J.RedmonandA.Farhadi,“Yolo9000:better,faster,stronger,”arXivpreprintarXiv:1612.08242,2016.)作为人体检测器，获得图片中的人的边界框Bi；(2)获取网络输出：将图片送入我们设计的神经网络，获得图片的置信图以及方向场信息，所述神经网络通过以下方法得到：从数据集中获取训练样本，以图片作为输入，以每个图片对应的14个关节的置信图Sj和13个方向场Lc作为输出，j＝1,2,…,14；c＝1,2,…,13，进行神经网络训练网络结构在Z.Cao,T.Simon,S.-E.Wei,andY.Sheikh,“Realtimemulti-person2dposeestimationusingpartaffinityfields,”arXivpreprintarXiv:1611.0805本文档来自技高网...

【技术保护点】
1.一种使用边界框约束的自底向上的多人姿态估计方法，其特征在于，包括以下步骤：(1)边界框检测：使用人体检测器，获得图片中的人的边界框Bi；(2)获取网络输出：将图片送入我们设计的神经网络，获得图片的置信图以及方向场信息，所述神经网络通过以下方法得到：从数据集中获取训练样本，以图片作为输入，以每个图片对应的14个关节的置信图Sj和13个方向场Lc作为输出，j＝1,2,…,14；c＝1,2,…,13，进行神经网络训练，网络结构如下表所示：

【技术特征摘要】
1.一种使用边界框约束的自底向上的多人姿态估计方法，其特征在于，包括以下步骤：(1)边界框检测：使用人体检测器，获得图片中的人的边界框Bi；(2)获取网络输出：将图片送入我们设计的神经网络，获得图片的置信图以及方向场信息，所述神经网络通过以下方法得到：从数据集中获取训练样本，以图片作为输入，以每个图片对应的14个关节的置信图Sj和13个方向场Lc作为输出，j＝1,2,…,14；c＝1,2,…,13，进行神经网络训练，网络结构如下表所示：第三阶段至第六阶段的结构与第二阶段相同，第六阶段的置信图的第7层与方向场的第7层为网络最终的输出。训练样本中，第j个关节置信图Sj中包含第j个关节的置信度信息和位置信息；置信图Sj中，位置p处的置信度为：其中，表示位置p在置信图Sj中相对于第k个人的关节置信度，xj,k表示第k个人的关节j的位置坐标，σ为高斯函数的阈值；网络的方向场，编码关节之间的连接关系，是对位置和方向信息进行编码的二维矢量场。在第c个连接的方向场Lc中，位置p的方向场为：为位置p在方向场Lc中相对于第k个人的方向场，nc(p)是相关连接的数量，对于相关相连连接，v是连接c的单位向量。(3)姿态解析：对网络输出的置信图Sj和方向场Lc，在步骤1中获得的每一个边界框Bi中，使用贪心算法，进行姿态解析，贪心算法具体步骤如下：对于每个边界框Bi，首先对于关节点j，从置信图Sj中找到若干个局部最大值，其坐标作为关节点j的坐标xj。任意两个相邻关节点j1,j2组成的连接c，计算一个可信度s(j1,j2)，该可信度被定义为：其中Q是在连接c上均匀采样的若干个点，d是两个点之间的方向向量，被定义为d＝xj1-xj2。Lc(q)表示位置q的网络输出的方向场；接下来对于人体的每一个枝干上的连接c按照可信度降序遍历，对于c的两个关节点j1,j2中，如果任意一个之前的遍历过程中已经遇到过，则跳过这个连接；如果j1不属于任何一个人的姿态，那么新建一个姿态，并把j1,j2加入这个姿态中；如果j1已经属于某个人的姿态，那么把j2也加...

【专利技术属性】
技术研发人员：刘新国，李妙鹏，周子孟，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33