一种基于多层分形网络和关节亲属模式的多人姿态估计方法技术

本发明专利技术涉及一种基于多层分形网络和关节亲属模式的多人姿态估计方法，其采用三层分形网络模型对人体关键点进行预测，并提出分层双向推理算法对多人关节点进行匹配，根据每对关节点之间的亲属度及外部空间约束关系，实现多个人体关节点之间的最佳匹配，有效去除大量关节点之间的杂乱匹配，可大大提升多人姿态估计的平均精度。

Multi person pose estimation method based on multi-layer fractal network and joint Kin mode

The present invention relates to a multi-person pose estimation method based on multi-layer fractal network and joint relatives model. The method uses three-layer fractal network model to predict the key points of human body, and proposes a hierarchical bidirectional reasoning algorithm to match multi-person joint points. According to the relatives degree between each pair of joint points and the external space constraint relationship, the multi-person joint points are matched. The optimal matching between multiple human joints can be achieved, and the cluttered matching between a large number of joints can be effectively removed. The average accuracy of multi-person pose estimation can be greatly improved.

【技术实现步骤摘要】
一种基于多层分形网络和关节亲属模式的多人姿态估计方法
本专利技术涉及人体姿态估计领域，具体涉及一种基于多层分形网络和关节亲属模式的多人姿态估计方法。
技术介绍
人体姿态估计是进一步理解人体行为的关键步骤，有效预测人体关节点并获得相应运动姿态，对于实现如行为识别、人体追踪及人体重识别等更高级别的计算机视觉任务具有重要的意义。尽管对于人体姿态估计的研究众多，但当单张图像中存在多个人时，可能导致更多的肢体截断或闭塞，难以定位所有个体的关节点；且多人肢体相互作用，容易产生关节依赖导致高维输入空间。传统的单人姿态估计方法在预测到人体关节点之后，只需要直接连接相邻关节点即可形成人体姿态，该方法未考虑到同类关节点之间的互斥性。由于多人关节点之间存在错综复杂的关节依赖，使得一些处理单人姿态估计的方法无法满足多人姿态估计的需求。随着深度学习方法的快速发展，对于多人姿态估计的研究也逐渐多了起来，但始终未能找到一种具有普适性的姿态估计方法。对于RGB图像中多人姿态的估计，Pishchulin等人(2016IEEEConferenceonComputerVisionandPatternRecognition,2016,pp.4929-4937)在论文“DeepCut:JointSubsetPartitionandLabelingforMultiPersonPoseEstimation”中提出了一个联合目标函数来解决多人姿态估计问题，该方法不需要单独的人体检测器或任何关于人数的先验信息，且可以解决任何类型的闭塞或截断，但是对于现实情况而言，这是一个NP难问题且价格昂贵，因此该方法限制了部位推荐的数量。Insafutdinov等人(16thEuropeanConferenceonComputerVision,2016,pp.34-50)在论文“DeeperCut:ADeeper,Stronger,andFasterMulti-personPoseEstimationModel”中提出一种基于ResNet的强部件检测器来检测所有人体部位，及一种增量优化策略来标记和组装这些部位，由于该方法只考虑了很小的局部区域，因此对于相距较远的相邻关节点，该方法对于关节点的组装效果并不好。北京航空航天大学在其申请的专利“一种结合旋转不变性特征的单张图片人体姿态估计方法”(专利申请号：CN201510502639.4，公开号：CN105117694A)中公开了一种通过融合人体部件表象模型和基于姿态先验的人体形变模型，对输入图像进行表象评分,并以此评分结果为指导进行人体二维姿态估计的方法。该方法可有效对人体部位进行约束，但对于图像中多个人的不同关节之间，却不能保证约束关系，从而无法高效估计多人姿态。
技术实现思路
本专利技术的目的在于提供一种基于多层分形网络和关节亲属模式的多人姿态估计方法，其能够高效评估多人姿态。为实现上述目的，本专利技术采用的技术方案是：一种基于多层分形网络和关节亲属模式的多人姿态估计方法，其首先通过采用多尺度特征提取单元替换原始沙漏网络中的剩余单元，构建三层分形网络模型；然后基于该三层分形网络模型对包含多人的单张图像进行处理，获取该图像的人体候选关节点位置热图；对候选关节点进行分层，计算相邻两层关节点之间的双向条件概率，用于推理各个关节点之间的相互亲属度，根据每对关节的亲属关系和外部空间约束关系，将关节点迭代到多个人中，并组合所有个人的姿势，形成一个完整的多人姿态。所述多人姿态估计方法具体包括以下步骤：步骤1、构造并优化三层分形网络模型步骤1.1、采用多尺度特征提取单元替换8堆叠沙漏模型的原始剩余单元，构造三层分形网络模型，该三层分形网络模型包含堆叠卷积，批量归一化和ReLu非线性；步骤1.2、采用多人姿态数据集训练三层分形网络模型，计算各个关节点置信分数,并对相应关节点位置热图进行中间预测,形成中间预测关节点热图；在训练阶段，假设是所有K个人体关节点的地面真值位置，其中K＝15，并且lk表示第k个关节点，令为关节点k分配到位置τ的置信分数，其中置信分数可表示成：步骤1.3、计算步骤1.2中生成的中间预测关节点热图与相应的地面真值热图之间的均方误差损失函数Γk，用于训练三层分形网络模型参数，并优化三层分形网络模型；在训练过程中，假设所有中间预测关节点热图为Φ'＝{Φ'k}k＝1,2,...,K，尺度为15×64×64，令Φ＝{Φk}k＝1,2,...,K为高斯激活生成的每个人体部位对应的地面真值热图，其中均方误差损失函数Γk表示成：将整体目标函数设置为最大化置信分数及最小化预测损失Γk，对模型参数进行微调，优化三层分形网络，具体过程表示如下：步骤2、多人姿态估计步骤2.1、读取包含多人的单张RGB图像，重置图像大小至512×512；步骤2.2、将大小为512×512的RGB图像，作为VGG19网络的前10层卷积输入，经过VGG19网络后提取到一组人体特征图F；步骤2.3、将步骤2.2生成的人体特征图F输入到步骤1训练得到的三层分形网络模型中，获取人体候选关节点位置热图；步骤2.4、在人体候选关节点位置热图中，采用非最大值抑制算法查找每个关节点最大像素值位置，选择具有最大峰值的像素位置作为关节点位置的中心，然后膨胀该中心点以生成半径为R个像素的圆，即得人体关节点位置；步骤2.5、通过步骤2.4得到的所有人体关节点位置进行分层，分别计算相邻两层的各关节点之间的双向条件概率，用于推理关节点之间的相互亲属度；假设关节点i与关节点j为相邻层关节点，首先计算从关节点i到关键点j的条件概率同时也计算关节点j到关节点i的条件概率计算过程如下所示：只有当相互条件概率均超过给定阈值ε时，才认为这两个关节点相互依赖，属于同一个体，判别式如下：关节点i到关键点j的条件概率大于等于阈值ε，定义为组Di,j；关节点j到关键点i的条件概率大于等于阈值ε，定义为组Dj,i；步骤2.6、选择在两组中同时出现的身体关节对，构建候选边集Eij，其中，边集Eij定义为：然后对边集Eij执行外部空间约束，进行相邻关节点的最佳匹配；假定关节i是固定的，引入边集中关节之间的空间距离来优化边集，空间距离计算如下：目标函数为在边集中选择关节点时，最小化空间距离，优化各层关节之间的亲属度，以最佳匹配各相邻层关节点形成关节点对，其中目标函数表示为：步骤2.7、连接最佳匹配关节对，形成部分人体骨架；步骤2.8、重复步骤2.5至步骤2.7，逐层迭代，直到所有关节点均被分配到相应个体，即完成单张图像中的多人姿态估计。采用上述方案后，本专利技术通过修改多尺度特征提取单元并设计三层分形架构，实现输入图像局部感受野的增大并捕获人体关节更大的局部上下文特征，有效改善人体关节点位置热图的中间预测；同时充分考虑个体关节点之间的亲属关系和空间关系，实现关节点之间的最佳匹配，有效去除大量关节点之间的杂乱匹配，可大大提升多人姿态估计的平均精度。附图说明图1为本专利技术实现关节点预测的三层分形网络框架；图2为本专利技术输入的单张RGB图像；图3为图2的人体关节点位置热图预测结果；图4为人体关节点具体位置确定图像；图5为相邻层关节点之间的分层双向推理图像；图6为最终得到的多人姿态估计结果图像。具体实施方式本专利技术揭示了一种基本文档来自技高网...

【技术保护点】
1.一种基于多层分形网络和关节亲属模式的多人姿态估计方法，其特征在于：首先通过采用多尺度特征提取单元替换原始沙漏网络中的剩余单元，构建三层分形网络模型；然后基于该三层分形网络模型对包含多人的单张图像进行处理，获取该图像的人体候选关节点位置热图；对候选关节点进行分层，计算相邻两层关节点之间的双向条件概率，用于推理各个关节点之间的相互亲属度，根据每对关节的亲属关系和外部空间约束关系，将关节点迭代到多个人中，并组合所有单个人的姿势，形成一个完整的多人姿态。

【技术特征摘要】
1.一种基于多层分形网络和关节亲属模式的多人姿态估计方法，其特征在于：首先通过采用多尺度特征提取单元替换原始沙漏网络中的剩余单元，构建三层分形网络模型；然后基于该三层分形网络模型对包含多人的单张图像进行处理，获取该图像的人体候选关节点位置热图；对候选关节点进行分层，计算相邻两层关节点之间的双向条件概率，用于推理各个关节点之间的相互亲属度，根据每对关节的亲属关系和外部空间约束关系，将关节点迭代到多个人中，并组合所有单个人的姿势，形成一个完整的多人姿态。2.根据权利要求1所述的一种基于多层分形网络和关节亲属模式的多人姿态估计方法，其特征在于：具体包括以下步骤：步骤1、构造并优化三层分形网络模型步骤1.1、采用多尺度特征提取单元替换8堆叠沙漏模型的原始剩余单元，构造三层分形网络模型，该三层分形网络模型包含堆叠卷积，批量归一化和ReLu非线性；步骤1.2、采用多人姿态数据集训练三层分形网络模型，计算各个关节点置信分数,并对相应关节点位置热图进行中间预测,形成中间预测关节点热图；在训练阶段，假设是所有K个人体关节点的地面真值位置，其中K＝15，并且lk表示第k个关节点，令为关节点k分配到位置τ的置信分数，其中置信分数可表示成：步骤1.3、计算步骤1.2中生成的中间预测关节点热图与相应的地面真值热图之间的均方误差损失函数Γk，用于训练三层分形网络模型参数，并优化三层分形网络模型；在训练过程中，假设所有中间预测关节点热图为Φ'＝{Φ'k}k＝1,2,...,K，尺度为15×64×64，令Φ＝{Φk}k＝1,2,...,K为高斯激活生成的每个人体部位对应的地面真值热图，其中均方误差损失函数Γk表示成：将整体目标函数设置为最大化置信分数及最小化预测损失Γk，对模型参数进行微调，优化三层分形网络，具体过程表示如下：步骤2、多人姿态估计步骤2....

【专利技术属性】
技术研发人员：骆炎民，柳培忠，徐志通，
申请(专利权)人：华侨大学，泉州市中仿宏业信息科技有限公司，
类型：发明
国别省市：福建,35