基于并联空洞卷积和身体结构约束的人体姿态检测方法技术

本发明专利技术公开了一种基于并联空洞卷积和身体结构约束的人体姿态检测方法。本发明专利技术实现：下载人体姿态数据集，获取训练数据集；根据目标检测算法对训练数据集中的每张图片提取人物个体，获取只包含人物个体的训练图像；根据人体姿态数据集中提供的骨骼点坐标，制作训练图像的骨骼点热图；采用构建关联集合的方法来构建身体结构约束损失模块，采用不同膨胀率的空洞卷积核来构建并联空洞卷积网络。采用Adam优化器训练带有身体结构约束损失模块的并联空洞卷积网络。本发明专利技术采用并联空洞卷积网络防止因重复上下采样而造成信息损失，同时还对损失函数进行改进，考虑骨骼点之间的关联性，在复杂环境下能较好的提取特征，获得更好的人体姿态检测效果。

【技术实现步骤摘要】
基于并联空洞卷积和身体结构约束的人体姿态检测方法
本专利技术属于计算机视觉和模式识别
，具体涉及到人体姿态检测，具体是一种基于并联空洞卷积和身体结构约束的人体姿态检测方法。本专利技术应用于复杂场景下精确定位人体各关节点来准确检测人体姿态。
技术介绍
人体姿态检测是目前计算机视觉中最重要的任务之一，它主要利用深度学习将输入图片映射成具有几何约束以及相互联系的多个骨骼点。实现对人体姿态更好的理解是计算机视觉中其他更高级的任务的基本前提，比如动作捕获、人机交互、动作识别等。这些年来，很多方法被提出来更好的实现人体姿态检测。早些时候，通过将局部检测器与构造约束相结合来实现，随着硬件和数据集的发展，卷积神经网络被应用于该领域，极大地提升了在人体姿态检测方面的性能。目前许多方法都是将图片送进网络，并且这些网络一般都包括高分辨率到低分辨率的网络子模块，最后再提高分辨率。比如，沙漏堆叠网络包括了若干个沙漏网络，每个沙漏网络通过重复的下采样降低分辨率，又重复的进行上采样增大分辨率。但是在上采样的过程中，会造成信息的损失，特别对于遮挡、背景和人体区分不大的情况下，会产生错误的骨骼点估计。
技术实现思路
本专利技术的目的在于针对已有技术的不足，提出一种能够适应复杂场景下的基于并联空洞卷积和身体结构约束的人体姿态检测方法。本专利技术解决其技术问题所采用的技术方案包括如下步骤：步骤(1)下载人体姿态数据集，获取训练数据集；步骤(2)根据目标检测算法对训练数据集中的每张图片提取人物个体，获取只包含人物个体的训练图像；步骤(3)根据人体姿态数据集中提供的骨骼点坐标，制作训练图像的骨骼点热图；步骤(4)采用构建关联集合的方法来构建身体结构约束损失模块，采用不同膨胀率的空洞卷积核来构建并联空洞卷积网络。步骤(5)采用Adam优化器训练带有身体结构约束损失模块的并联空洞卷积网络；步骤(6)用训练好的带有身体结构约束损失模块的并联空洞卷积网络对测试集进行骨骼点检测，确定骨骼点位置。步骤(7)连接骨骼点并输出，得到人体姿态。进一步，所述的步骤(2)所述的获取训练图像的过程如下：1.1对于训练数据集的每一张图片，可能存在一个人物或多个人物，首先采用目标检测网络对图片中的个体进行检测，检测之后返回每一个个体的检测边界框。1.2获得每个个体的检测边界框之后，对边界框进行预处理，使其达到网络输入规定的分辨率，然后结合骨骼点坐标文件，对每个个体的每个骨骼点进行标注，获取只包含人物个体的带有标注的训练图像；进一步，所述的步骤(3)所述的制作训练图像的骨骼点热图的过程如下：2.1当获取带有标注的训练图像后，对训练图像中每个骨骼点，以其坐标为中心，生成对应的高斯热图，对于训练图像中缺失的骨骼点生成空白图。2.2每个骨骼点生成的高斯热图按指定顺序排列，即每个个体骨骼点的先后顺序要保持一致，所有的高斯热图的骨骼点的先后顺序都保持一致。进一步，所述的步骤(4)具体实现过程如下：3.1构建带有身体结构约束损失模块：3.1.1将每个骨骼点通过身体结构约束构建集合，构建规则如下：假设各个骨骼点对应的标号为(头部-0，颈部-1，右肩-2，右肘-3，右腕-4，胸部-5，骨盆-6，右臀-7，右膝-8，右踝-9，左肩-10，左肘-11，左腕-12，左臀-13，左膝-14，左踝-15)，则集合S为{(0，1)，(0，1，2)，(0，1，2，3),...,(0，1，2，3，4,5,6,7,8,9,10,11,12,13,14,15)}，即集合中的每一个元素都是在身体结构上有相互连接关系的。3.1.2使用如下公式计算身体结构约束损失模块：其中，K表示骨骼点个数，Pki表示单个骨骼点预测值，表示单个骨骼点真实值，表示组合骨骼点预测值，表示组合骨骼点真实值，T表示集合S的元素个数，α表示权重系数。3.2构建并联空洞卷积网络构建的并联空洞卷积网络包括多个分支，每个分支是具有不同步长卷积核的空洞卷积网络，假设特征输出为y，则y[i]表示第i个骨骼点的特征输出，卷积核k，维度d，则空洞卷积操作如下：r表示空洞卷积核的步长，即卷积核的间隔数量，普通的卷积是空洞卷积的一个特殊情况，当r＝1的时候，即是普通的卷积核，通过设置不同的r来获得不同大小的感受野。进一步，所述的步骤(5)所述训练带有身体结构约束损失模块的并联空洞卷积网络的过程如下：4.1将预训练好的深度卷积网络模型中的参数加载到并联空洞卷积网络，完成模型参数初始化。4.2将步骤1.2得到的带有标注的训练图像输入到并联空洞卷积网络中，采用Adam优化器进行训练，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳，最终得到训练好的并联空洞卷积网络。4.3判断并联空洞卷积网络的全局损失值是否小于阈值，若是，执行步骤4.4；否则返回步骤4.3。4.4结束训练，得到训练好的并联空洞卷积网络。进一步，所述的步骤(6)所述确定骨骼点位置的过程如下：5.1把需要进行人体姿态检测的图片输入训练好的并联空洞卷积网络，获取人体所有骨骼点对应的整体高斯热图；在训练过程中，每个骨骼点会产生多张对应的骨骼点的高斯热图；每张高斯热图(包括整体高斯热图和骨骼点的高斯热)上的每一个骨骼点都会有一个表示该骨骼点的置信度；在同一个骨骼点对应的所述有置信度中选取值最大的置信度，作为该骨骼点最终的预测坐标；5.2设置置信度阈值，当选取的最大的置信度低于置信度阈值时，则认为该骨骼点没有出现。本专利技术与现有技术相比具有以下优点：第一：本专利技术采用了空洞卷积网络，有效避免了因重复上下采样而造成的信息损失，空洞卷积能够在保持分辨率不变的情况下同时增大感受野，学习到更多的细节特征。第二：本专利技术采用了并联空洞卷积网络，相较于串联空洞卷积网络，能够将多尺度的特征进行融合，达到更好的效果。第三：本专利技术采用了身体结构约束损失模块，将每个骨骼点之间的关联性考虑在内，获得更好的精度。附图说明图1是本专利技术的流程图图2是空洞卷积原理图图3是身体结构约束损失模块示意图图4是并联空洞卷积网络的模型图具体实施方式:下面结合附图对本专利技术做详细描述。实施例1在复杂场景中，人体姿态会受各方面因素影响，包括光照反射，肢体扭曲，遮挡等使得检测性能不鲁棒。针对目前存在的问题，本专利技术提出了一种基于并联空洞卷积和身体结构约束的人体姿态检测方法，流程图参照图1和图4，包括如下步骤：步骤(1)下载人体姿态数据集，获取训练数据集步骤(2)根据目标检测算法对训练数据集中的每张图片提取人物个体，获取只包含人物个体的训练图像。2.1对于训练数据集的每一张图片，可能存在一个人物或多个人物，首先采本文档来自技高网...

【技术保护点】
1.基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于包括如下步骤:/n步骤(1)下载人体姿态数据集，获取训练数据集；/n步骤(2)根据目标检测算法对训练数据集中的每张图片提取人物个体，获取只包含人物个体的训练图像；/n步骤(3)根据人体姿态数据集中提供的骨骼点坐标，制作训练图像的骨骼点热图；/n步骤(4)采用构建关联集合的方法来构建身体结构约束损失模块，采用不同膨胀率的空洞卷积核来构建并联空洞卷积网络；/n步骤(5)采用Adam优化器训练带有身体结构约束损失模块的并联空洞卷积网络；/n步骤(6)用训练好的带有身体结构约束损失模块的并联空洞卷积网络对测试集进行骨骼点检测，确定骨骼点位置；/n步骤(7)连接骨骼点并输出，得到人体姿态。/n

【技术特征摘要】
1.基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于包括如下步骤:
步骤(1)下载人体姿态数据集，获取训练数据集；
步骤(2)根据目标检测算法对训练数据集中的每张图片提取人物个体，获取只包含人物个体的训练图像；
步骤(3)根据人体姿态数据集中提供的骨骼点坐标，制作训练图像的骨骼点热图；
步骤(4)采用构建关联集合的方法来构建身体结构约束损失模块，采用不同膨胀率的空洞卷积核来构建并联空洞卷积网络；
步骤(5)采用Adam优化器训练带有身体结构约束损失模块的并联空洞卷积网络；
步骤(6)用训练好的带有身体结构约束损失模块的并联空洞卷积网络对测试集进行骨骼点检测，确定骨骼点位置；
步骤(7)连接骨骼点并输出，得到人体姿态。


2.根据权利要求1所述的基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于步骤(2)所述的获取训练图像的过程如下：
2.1对于训练数据集的每一张图片，可能存在一个人物或多个人物，首先采用目标检测网络对图片中的个体进行检测，检测之后返回每一个个体的检测边界框；
2.2获得每个个体的检测边界框之后，对边界框进行预处理，使其达到网络输入规定的分辨率，然后结合骨骼点坐标文件，对每个个体的每个骨骼点进行标注，获取只包含人物个体的带有标注的训练图像。


3.根据权利要求1或2所述的基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于步骤(3)所述的制作训练图像的骨骼点热图的过程如下：
3.1当获取带有标注的训练图像后，对训练图像中每个骨骼点，以其坐标为中心，生成对应的高斯热图，对于训练图像中缺失的骨骼点生成空白图；
3.2每个骨骼点生成的高斯热图按指定顺序排列，即每个个体骨骼点的先后顺序要保持一致，所有的高斯热图的骨骼点的先后顺序都保持一致。


4.根据权利要求1或3所述的基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于步骤(4)具体实现过程如下：
4.1构建带有身体结构约束损失模块：
4.1.1将每个骨骼点通过身体结构约束构建集合，构建规则如下：
假设各个骨骼点对应的标号为(头部-0，颈部-1，右肩-2，右肘-3，右腕-4，胸部-5，骨盆-6，右臀-7，右膝-8，右踝-9，左肩-10，左肘-11，左腕-12，左臀-13，左膝-14，左踝-15)，则集合S为{(0，1)，(...

【专利技术属性】
技术研发人员：姜明，杨海杰，李鹏飞，张旻，汤景凡，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33