一种基于深度学习的人体关键点检测方法技术

本发明专利技术公开了一种基于深度学习的人体关键点检测方法，属于计算机视觉技术领域。本发明专利技术采用扩张卷积残差网络作为人体关键点检测网络的基础网络，在头部网络中设置一种像素重排列卷积模块来实现上采样，经过两次上采样，使特征图分辨率达到最大，分别在两个分辨率的特征图上进行预测，并且在最大分辨率特征图上使用批量级别困难关键点挖掘，网络结构非常简单，计算量小，但是精度高。本发明专利技术用于公共安全、体感游戏娱乐、人机交互、标准动作分析等领域，其检测的准确度高，鲁棒性好，能够适应外界环境的各种变化。

【技术实现步骤摘要】
一种基于深度学习的人体关键点检测方法
本专利技术属于计算机视觉
，具体涉及一种基于深度学习的人体关键点检测方法。
技术介绍
人体关键点检测是计算机视觉领域中一个重要的课题，主要任务是在给定的图像中对人体关键点(通常是一些关节点或者部位)进行检测，输入一幅含有行人的图像，输出图像中所有人的全部关键点坐标，由这些坐标信息可以获得当前姿态。由于每个行人的尺度不一样，行人之间的相互影响也很复杂，比如互相遮挡或者被其他物体遮挡，还有背景和衣着干扰、人体动作和姿态的复杂多变性等难题，这将会给多人关键点检测带来很大的挑战。传统方法主要采用图形结构来解决人体关键点检测问题，例如，树模型(TreeModels)和随机森林模型(RandomForestModels)都被证明是非常有效的人体关键点检测算法。随着人体关键点检测精度要求越来越高，传统方法已经不能满足需求了。近年来，深度学习技术得到了广泛的应用，产生了一系列人体关键点检测算法，例如DeepPose、CPM、SHN、PAFs、RMPE、CPN及其一系列衍生算法，但是这些检测技术或由于精度低或检本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人体关键点检测方法，其特征在于，包括下列步骤：/n步骤1：设置并训练像素重排列卷积头部网络：/n所述像素重排列卷积头部网络用于输出所输入图像的热力图，其包括三个串联的子网：扩张卷积残差网络、第一像素重排列卷积网络和第二像素重排列卷积网络；/n其中，扩张卷积残差网络多个卷积残差模块，用于对输的图像进行下采样，且最后两个卷积残差模块通道数和下采样率相同；/n像素重排列卷积网络用于对输入的图像的进行上采样，所述像素重排列卷积网络从输入到输出依次包括：卷积层、批量归一化层、激活函数和像素重排列层；/n其中，像素重排列层用于对输入的特征图按照通道维度进行像素排列；/n训练时，将单人...

【技术特征摘要】
1.一种基于深度学习的人体关键点检测方法，其特征在于，包括下列步骤：
步骤1：设置并训练像素重排列卷积头部网络：
所述像素重排列卷积头部网络用于输出所输入图像的热力图，其包括三个串联的子网：扩张卷积残差网络、第一像素重排列卷积网络和第二像素重排列卷积网络；
其中，扩张卷积残差网络多个卷积残差模块，用于对输的图像进行下采样，且最后两个卷积残差模块通道数和下采样率相同；
像素重排列卷积网络用于对输入的图像的进行上采样，所述像素重排列卷积网络从输入到输出依次包括：卷积层、批量归一化层、激活函数和像素重排列层；
其中，像素重排列层用于对输入的特征图按照通道维度进行像素排列；
训练时，将单人体图像输入像素重排列卷积头部网络，在第一像素重排列卷积网络输出的第一特征图进行人体关键点预测，并设置第一像素重排列卷积网络的损失函数为第一损失函数；以及在第二像素重排列卷积网络输出的第二特征图进行人体关键点预测，并设置第二像素重排列卷积网络的损失函数为第二损失函数；
其中，第一损失函数为：Hj(p)表示人体关键点预测结果，即人体关键点j在位置p处的概率分布，表示真实值对应的概率分布，wj表示人体关键点的可见状态，取值为0或1，0表示不可见，1表示可见；J表示人体关键点数；
第二损失函数为：定义B表示训练时输入到像素重排列卷积头部网络的批量大小，计算当前批量的所有人体关键点的第一损失函数，并取前K×B个最大的第一损失函数作为第二损失函数，其中K为正整数；
当满足预设的训练停止条件时，训练结束，得到训练好的像素重排列卷积头部网络，并作为人体关键点检测模型；
步骤2：基于步骤1得到的人体关键点检测...

【专利技术属性】
技术研发人员：王忠荣，刘翼鹏，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51