一种利用新型损失函数进行多人姿态估计的方法技术

本发明专利技术公开一种利用新型损失函数进行多人姿态估计的方法，该发明专利技术使用的模型由两个关键的部分组成：候选关节的单人姿态估计和全局最大的关节关联算法。本发明专利技术使用全局视图解决目标干扰问题，采用自上而下的框架，首先检测个人，然后进行执行单人姿态估计，输出每个候选关节的位置列表，然后利用关联算法将候选关节点构成一个person‑joints的连接图，最后用全局最大的关节联合算法求解图中关节点得出最终姿态。本发明专利技术使用图模型对每个关节和全局关联进行多重预测，对于拥挤场景中的不可避免的干扰以及非常有效的推理具有鲁棒性。

A Method of Multi-person Attitude Estimation Using a New Loss Function

【技术实现步骤摘要】
一种利用新型损失函数进行多人姿态估计的方法
本专利技术属于计算机视觉域
，特别涉及一种利用新型损失函数进行多人姿态估计的方法。
技术介绍
为了更好地评估拥挤场景中的人体姿态估计算法并促进该领域的发展，我们收集了拥挤的人体姿势的数据集。我们定义了一个人群指数来衡量图像的拥挤程度。我们的数据集中的图像在[0,1]中具有均匀分布的人群指数，这意味着只有在不拥挤和拥挤的场景上表现良好的算法才能在我们的数据集中获得高分。当使用相同的基于ResNet-101的网络骨干网时，我们的方法在我们的数据集上超过了4.8mAP的所有状态方法。此外，我们用我们的模块替换最先进方法中的SPPE和后处理步骤，并为MSCOCO数据集带来0.8mAP的改进。也就是说，我们的方法通常可以在非拥挤的场景中工作。多人姿态估计使用的大多数方法大致可分为两类：i)自上而下的方法，首先检测每个人，然后进行单人姿势估计，或ii)自下而上的方法，先检测身体部件，然后在检测个体。为了评估多人姿势估计算法的性能，建立了几个公共基准，如MSCOCO，MPII和AIChallenger。在这些基准测试中，图像通常是从日常生活中收集的，其中拥挤的场景出现频率较低。结果，这些基准中的大多数图像在人类之间几乎没有相互遮挡。例如，在MSCOCO数据(人员子集)中，67.01％的图像没有重叠的人。目前的方法在这些数据集上获得了令人鼓舞的成功
技术实现思路
技术问题：专利技术所要解决的技术问题是在拥挤场景中设计新型的损失函数来提高多人姿态估计的问题的鲁棒性。技术方案：为了实现上述目的，本专利技术采用以下技术方案：一种利用新型损失函数进行多人姿态估计的方法，包括以下步骤：步骤1)输入图像I，所述图像I为包含多个人的图像；步骤2)将I中包含的所有个体检测出，并使用矩形边界框框出，设Ri为第i个人的矩形框区域；步骤3)在数据集上训练一个单人姿态估计网络，该单人姿态估计网络为stackedhourglass网络，所述stackedhourglass网络为堆叠沙漏网络，用于捕获并整合图像所有尺度的信息；步骤31)将StackedHourglass网络的步长设为2，filter为7*7的卷积层，利用卷积层以及池化层将特征降低分辨率，每一个池化层处，网络进行分叉，并对原来分辨率特征进行卷积，得到分辨率特征；步骤32)当到达最低的分辨率时，网络进行上采样，并结合不同尺度特征信息，所述上采样为最邻近插值；步骤33)当到达输出分辨率时，采用两个连续1*1卷积层进行处理；步骤34)将Ri中关节分成两类，将属于第i个人的关节设为目标关节，属于其他人体的关节设为干扰关节；将目标关节的热图表示为所述为第i个人中的第k个目标关节的热图，由2D高斯组成，以为中心，具有标准偏差σ，所述为目标关节第i个人的第k个关节的位置；将干扰关节表示为集合干扰关节的热图表示为所述为第i个人中的第k个干扰关节的热图，由高斯混合分布组成，所述p为干扰关节的位置；步骤35)设计新型损失函数对网络进行训练，损失函数为：其中：为第i个人中的第k个关节的热图，μ是[0,1]范围内的衰减系数，进行交叉验证在全局视图中考虑μ的值；步骤4)将Ri输入训练好的stackedhourglass网络进行单人姿态估计；最终得到输出两种候选关节不同强度输出Qi，所述Qi为第i个人的热图，即关节点在每个像素点存在的概率；步骤5)使用以下标准对候选关节进行分组：给位于和的两个候选关节定义一个控制偏差δk，所述为第1个人的第k个关节的位置，为第2个人的第k个关节的位置，当时，将和标记为相同的组，所述是热图上第1个人第k个关节的高斯响应大小，是热图上第2个人第k个关节的高斯响应大小，由高斯响应偏差确定；δ(k)是控制第k关节偏差的参数；用一个节点表示满足该标准的聚集在一起的一组关节；构建一个关节组作为一个节点，设置关节点集所述K为关节数，所述Nk为关节k的节点数，关节点是关节k的第j个节点，J中的关节点总数为∑kNk；步骤6)将所有的人节点集合表示为所述人节点为步骤2)中检测到的矩形框；hi是第i个人节点，M是矩形框的数量；步骤7)在获得关节点和人节点后，用关联算法将关节点和人节点连接起来构建person-joint图，当关节点包含来自第i个人节点hi的候选关节时，在和hi之间构建边缘的权重是该候选关节的响应值，表示为通过这种方式，构造边集人物关节图写成：G＝((H,J),E)；步骤8)求解关节图和最大化总边缘的权重，目标函数如下：其中：表示是否在最终图中保留边缘方程的约束；由于关节之间是相互独立的，将G分解为子图Gk＝((H，J(k))，E(k))，其中：和因此，目标函数表示为：步骤9)分别求解子图Gk，Gk是由人的子集和第k个关节的子集组成的二分图；分别寻址每个Gk，获得结果集R，给出图匹配结果为：当时，的加权中心被分配给第i个人类方案作为其第k个关节；加权中心中候选关节坐标的线性组合，权重是加权中心的热图响应分数；通过这种方式，构建每个个体的姿势；删除无法匹配任何关节的人员节点。进一步地，所述步骤35)中，新型损失函数：中μ取0.5；μ取值需满足当前关节为目标关节时，增强热图Qi中目标关节的响应；当前关节不是目标关节时，抑制干扰关节的响应，所述抑制不是直接对干扰关节进行抑制，此时的干扰节点看做其他目标的目标关节。进一步地，所述步骤5)中，使用而不是恒定阈值的原因是为了保证只有当落入半径为的控制域以及落入半径为的控制域时，将和组合在一起。有益效果：与现有技术相比，本专利技术具有以下有益效果：本专利技术使用图模型对每个关节和全局关联进行多重预测，对于拥挤场景中的不可避免的干扰以及非常有效的推理具有鲁棒性。本专利技术利用新型损失函数进行多人姿态估计，在考虑目标关节的同时保留了干扰关节，并根据关节的不同类别分别计算损失值，即抑制了干扰关节又保留了干扰关节，使得在拥挤场景中估计更加准确和可靠。附图说明图1是本专利技术的流程图。具体实施方式下面结合附图对本专利技术的技术方案做进一步的详细说明：一种利用新型损失函数进行多人姿态估计的方法，包括以下步骤：步骤1)输入图像I，所述图像I为包含多个人的图像；步骤2)利用YOLOv3行人探测器将图像I中包含个体检测出，并使用矩形框框出，设Ri为第i个人的矩形框区域；步骤3)在数据集上训练一个单人姿态估计网络，在训练步骤中，输入分辨率为320×256图像，该单人姿态估计网络为stackedhourglass网络，所述stackedhourglass网络为堆叠沙漏网络，用于捕获并整合图像所有尺度的信息；步骤31)将StackedHourglass网络的步长设为2，filter为7*7的卷积层，利用卷积层以及池化层将特征降低到80×64分辨率，每一个池化层处，网络进行分叉，并对原来分辨率特征进行卷积，得到分辨率特征；步骤32)当到达最低的分辨率时，网络进行上采样，并结合不同尺度特征信息，所述上采样为最邻近插值；步骤33)当到达输出分辨率时，采用两个连续1*1卷积层进行处理；步骤34)将Ri中关节分成两类，将属于第i个人的关节设为目标关节，属于其他人体的关节设为干扰关节；将目标关节的热图表示为所述为第i个人中的第k个目标关节的热图，由2D高本文档来自技高网...

【技术保护点】
1.一种利用新型损失函数进行多人姿态估计的方法，其特征在于，包括以下步骤：步骤1)输入图像I，所述图像I为包含多个人的图像；步骤2)将I中包含的所有个体检测出，并使用矩形边界框框出，设Ri为第i个人的矩形框区域；步骤3)在数据集上训练一个单人姿态估计网络，该单人姿态估计网络为stacked hourglass网络，所述stacked hourglass网络为堆叠沙漏网络，用于捕获并整合图像所有尺度的信息；步骤31)将Stacked Hourglass网络的步长设为2，filter为7*7的卷积层，利用卷积层以及池化层将特征降低分辨率，每一个池化层处，网络进行分叉，并对原来分辨率特征进行卷积，得到分辨率特征；步骤32)当到达最低的分辨率时，网络进行上采样，并结合不同尺度特征信息，所述上采样为最邻近插值；步骤33)当到达输出分辨率时，采用两个连续1*1卷积层进行处理；步骤34)将Ri中关节分成两类，将属于第i个人的关节设为目标关节，属于其他人体的关节设为干扰关节；将目标关节的热图表示为

【技术特征摘要】
1.一种利用新型损失函数进行多人姿态估计的方法，其特征在于，包括以下步骤：步骤1)输入图像I，所述图像I为包含多个人的图像；步骤2)将I中包含的所有个体检测出，并使用矩形边界框框出，设Ri为第i个人的矩形框区域；步骤3)在数据集上训练一个单人姿态估计网络，该单人姿态估计网络为stackedhourglass网络，所述stackedhourglass网络为堆叠沙漏网络，用于捕获并整合图像所有尺度的信息；步骤31)将StackedHourglass网络的步长设为2，filter为7*7的卷积层，利用卷积层以及池化层将特征降低分辨率，每一个池化层处，网络进行分叉，并对原来分辨率特征进行卷积，得到分辨率特征；步骤32)当到达最低的分辨率时，网络进行上采样，并结合不同尺度特征信息，所述上采样为最邻近插值；步骤33)当到达输出分辨率时，采用两个连续1*1卷积层进行处理；步骤34)将Ri中关节分成两类，将属于第i个人的关节设为目标关节，属于其他人体的关节设为干扰关节；将目标关节的热图表示为所述为第i个人中的第k个目标关节的热图，由2D高斯组成，以为中心，具有标准偏差σ，所述为目标关节第i个人的第k个关节的位置；将干扰关节表示为集合干扰关节的热图表示为所述为第i个人中的第k个干扰关节的热图，由高斯混合分布组成，所述p为干扰关节的位置；步骤35)设计新型损失函数对网络进行训练，损失函数为：其中：为第i个人中的第k个关节的热图，μ是[0，1]范围内的衰减系数，进行交叉验证在全局视图中考虑μ的值；步骤4)将Ri输入训练好的stackedhourglass网络进行单人姿态估计；最终得到输出两种候选关节不同强度输出Qi，所述Qi为第i个人的热图，即关节点在每个像素点存在的概率；步骤5)使用以下标准对候选关节进行分组：给位于和的两个候选关节定义一个控制偏差δk，所述为第1个人的第k个关节的位置，为第2个人的第k个关节的位置，当时，将和标记为相同的组，所述是热图上第1个人...

【专利技术属性】
技术研发人员：陈志，江婧，岳文静，周传，陈璐，刘玲，任杰，周松颖，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32