使用深度卷积神经网络的姿态检测方法及设备技术

本发明专利技术公开一种使用深度卷积神经网络的姿态检测方法，适于在计算设备中执行，该方法包括：将数据集按照训练和测试进行划分，并做预处理；进行人体关节特征区域的识别学习模型训练，以识别人体关节部位图像区域的学习网络；关节坐标定位学习模型训练；检测图像尺寸预处理，将需要识别人体姿态的图像调整为网络输入要求大小；通过该网络进行图像关节区域的识别，并划定相应矩形区域保存为子图像；将获得子图像作为输入，送入关节坐标定位学习模型进行关节坐标获取；以及按照人体骨骼模型连接获取的关节点构成人体姿态描述。本发明专利技术还提供了一种存储设备及移动终端。

Attitude detection method and equipment using deep convolution neural network

Attitude of the invention discloses a method for detecting depth using convolutional neural network, suitable for implementation in a computing device, the method includes: the data set is partitioned according to the training and testing, and pretreatment; identify the regional characteristics of human joint learning training model, to identify the human knee joint image region learning network; coordinate training learning model; image preprocessing, image adjustment will require a human gesture recognition for the network input size; identify the image area of the joint through the network, and to delineate the corresponding rectangle sub image will be saved; sub image as input into the joint learning model of joint coordinate positioning coordinates; and according to the model of human bone connection joint constitute the human body pose description. The invention also provides a storage device and a mobile terminal.

【技术实现步骤摘要】
使用深度卷积神经网络的姿态检测方法及设备
本专利技术属于一种姿态检测方法，特别涉及一种使用深度卷积神经网络的姿态检测方法及设备。
技术介绍
人体动作及姿态捕捉在辅助临床诊断、康复工程、人体运动分析领域、智能人机交互和智能监控等领域有广泛的应用前景，是机器视觉领域的重要课题。基于机器视觉的人体姿态识别指从视频图像序列中寻找和提取人体的动作特征，进而通过对三维人体捕捉数据进行匹配和分类来判定动作参数成为突破该制约的新途径。然，当前的动作捕捉设备价格高昂、操作难度大、数据再处理性能弱等制约。在智能监控领域，目前中国社会老龄化加剧，空巢老人的数量也随之增加，在独居老人的健康状况受到儿女的牵挂。如果能通过摄像头实时捕捉老人起居情况，对发生异常的姿态(如跌倒)进行捕捉、预警，将异常信息随之发送给儿女或医院，使老人能够第一时间得到救治。另外，可在人口密集的公共场所(如火车站、候机室等)安装智能监控，检测人的可疑性行为并发出警报，能够防止类似盗窃、抢劫、恐怖主义事件等。但是传统的图像算法在体态识别过程中，由于遮挡等原因，尤其是其他非目标人体的遮挡易造成识别不准确、实时性差等问题，特别是在背景复杂、特征混杂环境下，感兴趣目标特征不明显，更容易造成遮挡，目标丢失，无法进行体态的准确识别。对此，学者们提出了很多方法：HuNinghang等人采用顶部摄像头对人体位置进行估计，获得体态三维信息，建立体态描述器，采用计分比较方法进行体态分类，可抗自遮挡，但对于背景复杂、他人干扰的情况适应性不强；LeeY等人使用Markov模型和K均值方法去除不明确的体态，但对背景要求很高，无法起到抗干扰的效果；TsaiI-Cheng等人采用雷达传感器获得人体的中心和体态角度信息构成特征集进行体态识别，实时性好，但仍需进一步提高抗干扰性能；Silapasuphak-ornwongP和YangU等人加入了图像直方图进行肤色和衣着识别，虽起到了一定作用，但对被识别者衣着要求较高，达不到自然交互的效果；AnupamBanerjee等人将肤色分割方法与骨骼识别相结合进行芭蕾舞者体态识别，虽提高了识别效率，但算法针对性强，且易受其他人群干扰。同时，虽然当前存在了比较先进的深度学习方法进行人体姿态检测，但其训练难度较大、训练时间较长、对训练集要求较高的因素，都制约了最终的算法效果。
技术实现思路
针对现有技术中存在的技术问题，本专利技术提供一种可克服上述现有技术的不足(鲁棒性差、抗自遮挡能力差、训练要求高等问题)的基于深度卷积神经网络的人体姿态检测方法及设备。本专利技术所提供的一种使用深度卷积神经网络的姿态检测方法，适于在计算设备中执行，该方法包括：将数据集按照训练和测试进行划分，并做预处理；进行人体关节特征区域的识别学习模型训练，以识别人体关节部位图像区域的学习网络；关节坐标定位学习模型训练；检测图像尺寸预处理，将需要识别人体姿态的图像调整为网络输入要求大小；通过该网络进行图像关节区域的识别，并划定相应矩形区域保存为子图像；将获得子图像作为输入，送入关节坐标定位学习模型进行关节坐标获取；以及按照人体骨骼模型连接获取的关节点构成人体姿态描述。其中，所述步骤“将数据集按照训练和测试进行划分，并做预处理”中“将数据集按照训练和测试进行划分”包括：将所有的数据集划分为训练集和测试集，训练集再划分为整体图像训练集和关节部位训练集两个部分，其中整体图像训练集选取原本的训练集，关节部位测试集为训练集中每张训练图片所对应的真实图像中关节坐标数据集。其中，所述步骤“将数据集按照训练和测试进行划分，并做预处理”中“预处理”为：将训练图片的尺寸处理为训练网络约束的尺寸大小。其中，所述步骤“人体关节特征区域的识别学习模型训练”包括：将准备好的整体图像训练集作为输入，并将其输入至深度卷积神经网络中，该卷积神经网络包括依次设置的五个卷积层和两个完全连接层，前两个卷积层中的每个卷积层后均依次设置一个非线性激活层和一个最大池层，后三个卷积层中，在最后一个卷积层的下方设置有一个非线性激活层。后两个连接层中的最后一个连接层的下方依次设置有一个非线性激活层和一个数据降维层；以及所述深度卷积神经网络的输出为一二进制矩阵，该二进制矩阵通过与原始训练集内的图像进行误差计算，获取损失值，并最终获得训练损失值最小的网络参数，通过该训练损失值最小的网络参数即可得到学习网络。其中，所述步骤“关节坐标定位学习模型训练”包括：将关节部位训练集与对应的关节坐标(x，y)一一对应，送入关节定位网络中进行训练，关节定位训练网络包括两个卷积层，其中每个卷积层之后设置一个最大池层，所述最大池层用于消除邻域大小受限造成的估计值方差增大；级联一个局部激活层用于激活数据中的特征；通过全连接生成一个2×1的矩阵，分别记录关节所在位置的X轴坐标和Y轴坐标；以及通过二级级联将输出关节坐标预测结果与实际结果进行误差运算，并通过adam梯度下降缩小误差。其中，所述步骤“检测图像尺寸预处理”中通过仿射变换来变化图像尺寸。其中，所述步骤“通过该网络进行图像关节区域的识别，并划定相应矩形区域保存为子图像”包括：将预处理后的图片输入关节特征区域识别学习模型，通过处理获得记录图像深层次特征的二进制掩膜矩阵；将输入图像与生成的二进制掩膜矩阵进行损失值计算获得对应的损失值，将损失值与预定值进行比较，进而进行输入图像区域重塑；在原图像的基础上截取一部分的子图像，并继续与对应的二进制掩膜进行损失值运算，若仍大于预设定值，则继续进行输入区域截取并再次输入；以及选取损失值最小的区域作为最后结果，获取最优关节预测区域，该最优关节预测区域即被保存为子图像。其中，所述步骤“将获得子图像作为输入，送入关节坐标定位学习模型进行关节坐标获取”包括：根据所获取的预测区域，将原始输入图像根据预测区域范围进行截取，获取关节区域子图像，并将子图像预处理，输入关节坐标学习模型，通过二级级联迭代，以输出一个两行一列的矩阵，分别记录预测关节坐标的X轴坐标和Y轴坐标。本专利技术还提供了一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行，所述指令包括：将数据集按照训练和测试进行划分，并做预处理；进行人体关节特征区域的识别学习模型训练，以识别人体关节部位图像区域的学习网络；关节坐标定位学习模型训练；检测图像尺寸预处理，将需要识别人体姿态的图像调整为网络输入要求大小；通过该网络进行图像关节区域的识别，并划定相应矩形区域保存为子图像；将获得子图像作为输入，送入关节坐标定位学习模型进行关节坐标获取；以及按照人体骨骼模型连接获取的关节点构成人体姿态描述。本专利技术还提供了一种移动终端，包括：处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行，所述指令包括：将数据集按照训练和测试进行划分，并做预处理；进行人体关节特征区域的识别学习模型训练，以识别人体关节部位图像区域的学习网络；关节坐标定位学习模型训练；检测图像尺寸预处理，将需要识别人体姿态的图像调整为网络输入要求大小；通过该网络进行图像关节区域的识别，并划定相应矩形区域保存为子图像；将获得子图像作为输入，送入关节坐标定位学习模型进行关节坐标获取；以及按照人体骨骼模型连接获取的关节点构成人体姿态描述。上述基于深本文档来自技高网...

【技术保护点】
一种使用深度卷积神经网络的姿态检测方法，适于在计算设备中执行，该方法包括：将数据集按照训练和测试进行划分，并做预处理；进行人体关节特征区域的识别学习模型训练，以识别人体关节部位图像区域的学习网络；关节坐标定位学习模型训练；检测图像尺寸预处理，将需要识别人体姿态的图像调整为网络输入要求大小；通过该网络进行图像关节区域的识别，并划定相应矩形区域保存为子图像；将所述子图像作为输入，送入关节坐标定位学习模型进行关节坐标获取；以及按照人体骨骼模型连接获取的关节点构成人体姿态描述。

【技术特征摘要】
1.一种使用深度卷积神经网络的姿态检测方法，适于在计算设备中执行，该方法包括：将数据集按照训练和测试进行划分，并做预处理；进行人体关节特征区域的识别学习模型训练，以识别人体关节部位图像区域的学习网络；关节坐标定位学习模型训练；检测图像尺寸预处理，将需要识别人体姿态的图像调整为网络输入要求大小；通过该网络进行图像关节区域的识别，并划定相应矩形区域保存为子图像；将所述子图像作为输入，送入关节坐标定位学习模型进行关节坐标获取；以及按照人体骨骼模型连接获取的关节点构成人体姿态描述。2.如权利要求1所述的使用深度卷积神经网络的姿态检测方法，其特征在于：所述步骤“将数据集按照训练和测试进行划分，并做预处理”中“将数据集按照训练和测试进行划分”包括：将所有的数据集划分为训练集和测试集，训练集再划分为整体图像训练集和关节部位训练集两个部分，其中整体图像训练集选取原本的训练集，关节部位测试集为训练集中每张训练图片所对应的真实图像中关节坐标数据集。3.如权利要求1所述的使用深度卷积神经网络的姿态检测方法，其特征在于：所述步骤“将数据集按照训练和测试进行划分，并做预处理”中“预处理”为：将训练图片的尺寸处理为训练网络约束的尺寸大小。4.如权利要求1所述的使用深度卷积神经网络的姿态检测方法，其特征在于：所述步骤“人体关节特征区域的识别学习模型训练”包括：将准备好的整体图像训练集作为输入，并将其输入至深度卷积神经网络中，该卷积神经网络包括依次设置的五个卷积层和两个完全连接层，五个卷积层中前两个卷积层中的每个卷积层后均依次设置一个非线性激活层和一个最大池层，五个卷积层后级联一个数据降维层，之后级联两个完全连接层；以及所述深度卷积神经网络的输出为一二进制矩阵，该二进制矩阵通过与原始训练集内的图像进行误差计算，获取损失值，并最终获得训练损失值最小的网络参数，通过该训练损失值最小的网络参数即可得到学习网络。5.如权利要求1所述的使用深度卷积神经网络的姿态检测方法，其特征在于：所述步骤“关节坐标定位学习模型训练”包括：将关节部位训练集与对应的关节坐标(x，y)一一对应，送入关节定位网络中进行训练，关节定位训练网络包括两个卷积层，其中每个卷积层之后设置一个最大池层，所述最大池层用于消除邻域大小受限造成的估计值方差增大；级联一个局部激活层用于激活数据中的特征；通过全连接生成一个2×1的矩阵，分别记录关节所在位置的X轴坐标和Y轴坐标；以及通过二级级联将输出关节坐标预测结果与实际结果进行误差运算，并通过adam...

【专利技术属性】
技术研发人员：赵志强，邵立智，刘研君，姜小明，蒋宇皓，李章勇，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50