一种双重关键点生理关联约束的复杂人体姿态估计方法技术

本发明专利技术公开了一种双重关键点生理关联约束的人体姿态估计方法，该方法在人体姿态估计网络中构建并联的关键点定位通道L1、相邻关键点关联约束通道L2和绞合关键点强约束通道L3；利用Mask

【技术实现步骤摘要】
一种双重关键点生理关联约束的复杂人体姿态估计方法


[0001]本专利技术涉及二维人体姿态估计方法，具体涉及一种双重关键点生理关联约束的复杂人体姿态估计方法。

技术介绍

[0002]基于二维图像的人体姿态估计是目标识别领域的重要技术，对人类行为的理解起到至关重要的作用。二维人体姿态估计的目的是从二维图像中定位出人体的关键点位置，实现估计人体姿态的目的。其中关键点为众多关节点中具有代表性的点，两个关键点中的有效连接称为肢干，。人体姿态估计技术在公共安防、医学影像以及无人驾驶等方面具有广泛的应用。
[0003]随着计算机视觉的进一步发展，基于深度学习的人体姿态估计成为目前主流的人体姿态估计方法。基于深度学习的人体姿态估计最初直接回归人体关节点坐标，但这样做的效果并不理想。2015年之后，学术界普遍将人体姿态估计看做是关节点检测问题，在网络输出端的每个通道得到不同的热力图，每个热力图上响应最高的位置代表人体每一类关节点的预测位置，从而对人体姿态进行估计。
[0004]目前，基于深度学习的二维人体姿态估计方法包括两个阶段：人体姿态估计网络训练阶段和人体姿态估计阶段。在网络训练阶段，将包含待估计姿态的二维图像输入由卷积神经网络构成的人体姿态估计网络，网络在提取丰富特征的基础上，输出多个热力图，每个热力图上响应最高的位置代表人体每一类关键点的预测位置，并利用损失函数计算预测的关键点位置和对应GroundTruth中关键点位置之间的差异；通过计算损失函数的梯度值，不断优化人体姿态估计网络参数；对训练集的每幅图像反复重复上述步骤，直至损失函数的值基本保持不变，则代表训练过程结束。在估计阶段，基于训练好的人体姿态估计网络实现待估计图像中人体姿态的估计。
[0005]虽然基于深度学习的人体姿态估计技术大体上已经取得了不错的进展，但在对诸如劈叉、倒立、花样滑冰等复杂姿态进行估计时，关键点的预测及连接变得较为困难，现有方法对复杂姿态的估计结果通常存在错误估计关键点、错误连接关键点等问题，因此基于复杂姿态的人体姿态估计准确度有待于进一步地提高。

技术实现思路

[0006]针对现有技术对复杂人体姿态估计时出现的关键点估计错误、关键点连接错误等技术问题，本专利技术的目的在于，提供一种双重关键点生理关联约束的复杂人体姿态估计方法。
[0007]为了实现上述任务，本专利技术采取如下的技术解决方案：
[0008]一种双重关键点生理关联约束的复杂人体姿态估计方法，其特征在于，该方法在人体姿态估计网络中构建并联的关键点定位通道L1、相邻关键点关联约束通道L2和绞合关键点强约束通道L3；其中：
[0009]所述关键点定位通道L1用以对人体关键点进行初始的定位，通道输出与待估计的关键点数量K相等的特征图数量；
[0010]所述相邻关键点关联约束通道L2用以对物理上有连接关系的关键点进行约束，通道输出的特征图为物理上有连接关系的任意两个不同类关键点绑定关系的特征图，特征图数量为待估计的关键点数量减一，即K
‑
1；
[0011]所述绞合关键点强约束通道L3用以约束对人体姿态起决定作用的“连接”关键点，使复杂姿态中扭曲肢干的估计结果趋于准确；
[0012]利用Mask
‑
RCNN算法筛选过的LSP数据构建训练集和测试集，其中，所述训练集经过初始特征提取网络后进入人体姿态估计网络中的关键点定位通道L1、相邻关键点关联约束通道L2和绞合关键点强约束通道L3，经重复的三个阶段后融合输出最后预测结果；所述测试集经过训练好的网路参数输出人体姿态估计结果。
[0013]具体按下列步骤实施：
[0014]步骤1：获取多幅包含待估计姿态的图像，获得目标图像集X，该目标图像集X由下式表示：
[0015]X＝{X1，X2，
…
，X
N
}，N为正整数；
[0016]步骤2：将所述的含待估计姿态的图像输入至初始特征提取网络，获得初始特征F
initial
；
[0017]所述的初始特征提取网络由常用的特征提取网络VGG
‑
19的前10层构成，其中每一层的卷积核大小均为3
×
3，整个网络中的最大池化尺寸均为2
×
2；
[0018]步骤3：将所述的初始特征F
initial
输入至人体姿态估计网络，并将各通道的损失函数输入Adam优化器，优化网络参数；所述人体姿态估计网络包括重复的三个阶段，其中第一阶段的输入为步骤2所得的初始特征F
initial
，后续每一阶段的输入包括步骤2所得的初始特征F
initial
以及上一阶段的输出特征F
stagei
；
[0019]步骤4：结合所述的人体姿态估计网络第三阶段三个通道的输出特征图，分别获取每个通道最终预测的第K类关键点；
[0020]所述关键点定位通道L1和相邻关键点关联约束通道L2针对每一类关键点均会得到一个预测结果，所述绞合关键点强约束通道L3得到颈部关键点、左肘关键点、右肘关键点、左膝关键点、右膝关键点的预测结果；
[0021]步骤5：结合各通道预测的同一类关键点，融合输出最终预测的关键点，并利用引导损失函数对融合了多通道的关键点位置进行优化；
[0022]步骤6：将最后一次执行步骤5时得到的优化后的网络作为复杂人体姿态估计网络模型，结束。
[0023]根据本专利技术，所述的关键点定位通道L1由四个多分辨率块组成，各多分辨率块之间串行连接，每个多分辨率块与上一个多分辨率块相比，均多出一个分支；新增的分支是对上一个多分辨率块所有特征图进行跨步卷积融合后的结果，分辨率是上一分支分辨率的一半，通道数翻倍；
[0024]所述的每个多分辨率块由若干个并行的分支和多特征融合单元组成，其中，每个分支有四个残差单元。
[0025]具体地，所述相邻关键点关联约束通道L2由卷积单元构成；在人体姿态估计网络
第一阶段中，相邻关键点关联约束通道L2的卷积核的大小为3
×
3和1
×
1，所有卷积核的步长均为1，卷积滤波器的数量分别为128，128，128，512，14；在第二、三阶段中，相邻关键点关联约束通道L2的卷积核的大小为5
×
5和1
×
1，所有卷积核的步长均为1，卷积滤波器的数量分别为128，128，128，128，128，128，14。
[0026]进一步地，所述绞合关键点强约束通道L3由卷积单元构成；在人体姿态估计网络第一阶段中，通道L3的卷积核的大小为5
×
5和1
×
1，所有卷积核的步长均为1，卷积滤波器的数量分别为128，128，128，512，14；在第二、三阶段中通道L3的卷积核的大小为7
×
7和1
×
1，所有卷积核的步长均为1，卷积滤波器的数量分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双重关键点生理关联约束的复杂人体姿态估计方法，其特征在于，该方法在人体姿态估计网络中构建并联的关键点定位通道L1、相邻关键点关联约束通道L2和绞合关键点强约束通道L3；其中：所述关键点定位通道L1用以对人体关键点进行初始的定位，通道输出与待估计的关键点数量K相等的特征图数量；所述相邻关键点关联约束通道L2用以对物理上有连接关系的关键点进行约束，通道输出的特征图包括物理上有连接关系的任意两个不同类关键点绑定关系的特征图，特征图数量为待估计的关键点数量减一，即K
‑
1；所述绞合关键点强约束通道L3用以约束对人体姿态起决定作用的“连接”关键点，使复杂姿态中扭曲肢干的估计结果趋于准确；利用Mask
‑
RCNN算法筛选过的LSP数据构建训练集和测试集，其中：所述训练集经过初始特征提取网络后，分别进入人体姿态估计网络中的关键点定位通道L1、相邻关键点关联约束通道L2和绞合关键点强约束通道L3，经重复的三个阶段后融合输出最后预测结果；所述测试集经过训练好的网络参数输出人体姿态估计结果。2.如权利要求1所述的方法，其特征在于，按下列步骤实施：步骤1：获取多幅包含待估计姿态的图像，获得目标图像集X，该目标图像集X由下式表示：X＝{X1，X2，
…
，X
N
}，N为正整数；步骤2：将所述的含待估计姿态的图像输入至初始特征提取网络，获得初始特征F
initial
；所述的初始特征提取网络由常用的特征提取网络VGG
‑
19的前10层构成，其中每一层的卷积核大小均为3
×
3，整个网络中的最大池化尺寸均为2
×
2；步骤3：将所述的初始特征F
initial
输入至人体姿态估计网络，并将各通道的损失函数输入Adam优化器，优化网络参数；所述人体姿态估计网络包括重复的三个阶段，其中，第一阶段的输入为步骤2所得的初始特征F
initial
，后续每一阶段的输入包括步骤2所得的初始特征F
initial
以及上一阶段的输出特征F
stagei
；步骤4：结合所述的人体姿态估计网络第三阶段三个通道的输出特征图，分别获取每个通道最终预测的第K类关键点；所述关键点定位通道L1和相邻关键点关联约束通道L2针对每一类关键点均会得到一个预测结果，所述绞合关键点强约束通道L3得到颈部关键点、左肘关键点、右肘关键点、左膝关键点、右膝关键点的预测结果；步骤5：结合各通道预测的同一类关键点，融合输出最终预测的关键点，并利用引导损失函数对融合了多通道的关键点位置进行优化；步骤6：将最后一次执行步骤5时得到的优化后的网络作为复杂人体姿态估计网络模型，结束。3.如权利要求1所述的方法，其特征在于，所述的关键点定位通道L1由四个多分辨率块组成，各多分辨率块之间串行连接，每个多分辨率块与上一个多分辨率块相比，均多出一个分支；新增的分支是对上一个多分辨率块所有特征图进行跨步卷积融合后的结果，分辨率
是上一分支分辨率的一半，通道数翻倍；所述的每个多分辨率块由若干个并行的分支和多特征融合单元组成，其中，每个分支有四个残差单元。4.如权利要求1所述的方法，其特征在于，所述相邻关键点关联约束通道L2由卷积单元构成；在人体姿态估计网络第一阶段中，相邻关键点关联约束通道L2的卷积核的大小为3
×
3和1
×
1，所有卷积核的步长均为1，卷积滤波器的数量分别为128，128，128，512，14；在第二、三阶段中，相邻关键点关联约束通道L2的卷积核的大小为5
×
...

【专利技术属性】
技术研发人员：祝轩，陈培榕，赵卓岳，魏秀宇，郄博达，彭进业，汪霖，朱建鹏，孙逸霏，
申请(专利权)人：西北大学，
类型：发明
国别省市：