一种基于序列深度图像的人体身份识别方法技术

本发明专利技术公开了一种基于序列深度图像的人体身份识别方法，包括：采集人体的序列深度图像，基于序列深度图像使用卷积神经网络和递归神经网络进行人体关节点回归得到人体关节点的坐标位置；利用人体关节点的坐标位置进行计算得到人体体态特征向量，利用静态特征分类器进行识别，得到静态特征的人体身份识别得分；对序列深度图像进行人体运动行为特征提取，利用动态特征分类器进行识别，得到动态特征的人体身份识别得分；将静态特征与动态特征的人体身份识别得分进行加权计算，得到人体身份识别得分，进而得到人体身份识别结果。本发明专利技术鲁棒性强、准确率不受应用场景的影响。

A Human Identity Recognition Method Based on Sequential Depth Images

The invention discloses a human body identification method based on sequence depth images, which includes: collecting human body's sequence depth images, using convolution neural network and recursive neural network to regress human joint points based on sequence depth images to obtain coordinate positions of human joint points, calculating human body's body shape feature vectors by using coordinate positions of human joint points, and utilizing static state. The dynamic feature classifier is used to recognize and get the human identity recognition score of static features; the human motion behavior feature is extracted from the sequence depth images, and the human identity recognition score of dynamic features is obtained by using the dynamic feature classifier; the human identity recognition score of static features and dynamic features is calculated by weighting, and the human identity recognition score of static features and dynamic features is obtained, and then the human identity recognition score is obtained. The result of human body identification is obtained. The invention has strong robustness and accuracy, and is not affected by application scenarios.

【技术实现步骤摘要】
一种基于序列深度图像的人体身份识别方法
本专利技术属于数字图像处理和机器学习的交叉
，更具体地，涉及一种基于序列深度图像的人体身份识别方法。
技术介绍
随着信息技术的快速发展，个人身份信息的数字化越来越普遍。在安防、金融、刑侦、养老等领域，人体身份识别技术的需求越来越迫切。传统身份识别技术由于不易携带、易丢失、易损坏、安全性低等缺点，逐渐被基于生物特征的身份认证技术所取代。声纹、指纹、虹膜识别等技术的研究越来越成熟，在安全性、保密性、便携性等方面都有很大的提升。然而，这些技术大多具有一定的生物侵犯性，需要人的配合才能完成识别过程。近年来，廉价深度相机的应用越来越广泛，基于深度图像的身份识别技术的研究也开始起步。下面介绍目前常用的基于深度信息的人体特征提取和表示方法：(1)基于模型的方法基于模型的方法使用身体的关节点信息来建立人的骨架模型，通过跟踪人体的关节点，获取关节点的3D位置信息，通过该模型可以很方便地获取人体的身体结构和动作信息。2012年，Kumar等人在ACM上提出了Humangaitrecognitionusingdepthcamera：acovariancebasedapproach的人体步态识别方法，通过关节点轨迹协方差矩阵来描述人体步态。记录每一帧图像中所有关节点的3维坐标，构造对应的协方差矩阵，计算该矩阵与数据库中样本的协方差矩阵的差异性，选取差异值最小的样本作为预测值。借助该方法，对于20个志愿者，作者实现了90％的准确率。(2)基于非模型的方法大多数非模型方法使用目标的二值轮廓信息来生成人体动作的时空模式和状态空间。研究人员提出了许多动作识别的时间模型。一种是采用生成模型，如HMM(隐马尔科夫模型)和CRF(条件随机场)，这种方法依赖于关节点的3D坐标，但深度相机获取的关节点带有很多噪声，削弱了生成模型的性能。同时，由于训练的数据有限，训练一个生成模型容易产生过拟合。另一种方法是通过线性动态系统或非线性周期神经网络去建模。这种方法鲁棒性高，能够应对时间错位，但是很难通过有限的训练数据来学习出该模型。第三种方法是DTW(动态时间规划)算法，可通过最近邻分类器去识别动作。这种方法的性能取决于帧间相似性的度量方法，但在处理周期性的动作时会产生大的时间错位。基于模型的步态识别充分利用了深度相机的优势。将整个人体特征浓缩为多个关节点的特征，降低了计算量，去除了无关因素的影响。然而，这种方法提取的骨骼模型本身就含有噪声，需要通过后续处理算法将噪声的影响降到最小。基于非模型的步态识别利用了人体的轮廓信息，原始信息比较丰富，为后续处理提供了较好的数据源。但是这种方法也引入了冗余的信息，对识别结果会产生干扰。综上所述，目前的基于序列深度图像的人体身份识别算法存在鲁棒性差、准确率受限于应用场景等问题。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于序列深度图像的人体身份识别方法，由此解决现有技术存在鲁棒性差、准确率受限于应用场景的技术问题。为实现上述目的，本专利技术提供了一种基于序列深度图像的人体身份识别方法，包括：(1)采集人体的序列深度图像，所述序列深度图像包含人体的步态运动；(2)基于序列深度图像中的每帧深度图像的使用卷积神经网络和递归神经网络进行人体关节点回归得到每帧深度图像中人体关节点的坐标位置；(3)利用每帧深度图像中人体关节点的坐标位置计算多个人体体态特征包含的两个关节点的欧式距离，得到人体体态特征向量，利用静态特征分类器对人体体态特征向量进行识别，得到静态特征的人体身份识别得分；(4)对序列深度图像进行人体运动行为特征提取，利用动态特征分类器对人体运动行为特征进行识别，得到动态特征的人体身份识别得分；(5)将静态特征的人体身份识别得分与动态特征的人体身份识别得分进行加权计算，得到人体身份识别得分，人体身份识别得分最大值对应的人体身份为序列深度图像的人体身份识别结果。进一步地，步骤(2)包括：(2-1)对于序列深度图像中的每帧深度图像，使用全卷积结构的卷积神经网络进行深度特征提取并对人体关节点位置进行初级预测，得到人体关节点的预测坐标位置；(2-2)基于人体关节点的预测坐标位置，对以人体关节点为中心的局部图像进行裁剪，得到局部关节点图像；(2-3)利用全连接层的卷积神经网络提取局部关节点图像的特征，利用递归神经网络对局部关节点图像的特征进行识别得到人体关节点的坐标偏移量，结合人体关节点的预测坐标位置，得到人体关节点的坐标位置。进一步地，全卷积结构的卷积神经网络为训练好的全卷积结构的卷积神经网络，训练包括：利用样本序列深度图像训练全卷积结构的卷积神经网络，训练达到设置的最大迭代次数时，得到训练好的全卷积结构的卷积神经网络；所述全连接层的卷积神经网络为训练好的全连接层的卷积神经网络，训练包括：利用样本序列深度图像的人体关节点的预测坐标位置，对以人体关节点为中心的局部图像进行裁剪，得到样本局部关节点图像；利用样本局部关节点图像训练全连接层的卷积神经网络，训练达到设置的最大迭代次数时，得到训练好的全连接层的卷积神经网络；所述递归神经网络为训练好的递归神经网络，训练包括：基于样本局部关节点图像的特征利用递归神经网络隐式的学习人体关节点空间位置之间的相互依赖关系，训练达到设置的最大迭代次数时，得到训练好的递归神经网络。进一步地，步骤(3)包括：(3-1)利用每帧深度图像中人体关节点的坐标位置计算多个人体体态特征包含的两个关节点的欧式距离，得到人体体态特征向量，所述人体体态特征包括：身高、肩宽、躯干、双臂、双腿；(3-2)根据肩膀中心到臀部中心的距离对人体体态特征向量进行归一化，得到归一化后的人体体态特征向量；(3-3)利用静态特征分类器对归一化后的人体体态特征向量进行识别，得到静态特征的人体身份识别得分；所述静态特征分类器由最大间隔最近邻分类器和K近邻分类器组成。进一步地，静态特征分类器为训练好的静态特征分类器，训练包括：对样本深度图像的人体体态特征向量进行归一化后，分别输入最大间隔最近邻分类器和K近邻分类器进行训练，训练达到设置的最大迭代次数时，得到训练好的静态特征分类器。进一步地，步骤(4)包括：(4-1)对序列深度图像进行FFT金字塔特征提取，得到FFT金字塔特征向量；(4-2)将FFT金字塔特征向量输入每个关节点对应的分类器，得到每个关节点的贡献程度，利用每个关节点的贡献程度，得到gaitlet的可信度ConfS和歧义度AmbS，其中，ConfS大于置信度阈值Tconf，且AmbS小于混淆阈值Tamb，所述gaitlet为一个或多个关节点的集合；(4-3)将gaitlet中所有关节点的FFT金字塔特征组合，得到gaitlet特征向量，将gaitlet特征向量输入标定后的sigmoid模型进行识别，得到动态特征的人体身份识别得分。进一步地，标定后的sigmoid模型为：其中，f为gaitlet特征向量，A和B为经验估计参数。进一步地，静态特征的人体身份识别得分F1与动态特征的人体身份识别得分F2按照下式进行加权计算：aF1+bF2＝F其中，F为人体身份识别得分，a+b＝1，a∶b的范围为(1∶9)～(4∶6)。总体而言，通过本专利技术所构思的以上技术方案与现有技术本文档来自技高网...

【技术保护点】
1.一种基于序列深度图像的人体身份识别方法，其特征在于，包括：(1)采集人体的序列深度图像，所述序列深度图像包含人体的步态运动；(2)基于序列深度图像中的每帧深度图像的使用卷积神经网络和递归神经网络进行人体关节点回归得到每帧深度图像中人体关节点的坐标位置；(3)利用每帧深度图像中人体关节点的坐标位置计算多个人体体态特征包含的两个关节点的欧式距离，得到人体体态特征向量，利用静态特征分类器对人体体态特征向量进行识别，得到静态特征的人体身份识别得分；(4)对序列深度图像进行人体运动行为特征提取，利用动态特征分类器对人体运动行为特征进行识别，得到动态特征的人体身份识别得分；(5)将静态特征的人体身份识别得分与动态特征的人体身份识别得分进行加权计算，得到人体身份识别得分，人体身份识别得分最大值对应的人体身份为序列深度图像的人体身份识别结果。

【技术特征摘要】
1.一种基于序列深度图像的人体身份识别方法，其特征在于，包括：(1)采集人体的序列深度图像，所述序列深度图像包含人体的步态运动；(2)基于序列深度图像中的每帧深度图像的使用卷积神经网络和递归神经网络进行人体关节点回归得到每帧深度图像中人体关节点的坐标位置；(3)利用每帧深度图像中人体关节点的坐标位置计算多个人体体态特征包含的两个关节点的欧式距离，得到人体体态特征向量，利用静态特征分类器对人体体态特征向量进行识别，得到静态特征的人体身份识别得分；(4)对序列深度图像进行人体运动行为特征提取，利用动态特征分类器对人体运动行为特征进行识别，得到动态特征的人体身份识别得分；(5)将静态特征的人体身份识别得分与动态特征的人体身份识别得分进行加权计算，得到人体身份识别得分，人体身份识别得分最大值对应的人体身份为序列深度图像的人体身份识别结果。2.如权利要求1所述的一种基于序列深度图像的人体身份识别方法，其特征在于，所述步骤(2)包括：(2-1)对于序列深度图像中的每帧深度图像，使用全卷积结构的卷积神经网络进行深度特征提取并对人体关节点位置进行初级预测，得到人体关节点的预测坐标位置；(2-2)基于人体关节点的预测坐标位置，对以人体关节点为中心的局部图像进行裁剪，得到局部关节点图像；(2-3)利用全连接层的卷积神经网络提取局部关节点图像的特征，利用递归神经网络对局部关节点图像的特征进行识别得到人体关节点的坐标偏移量，结合人体关节点的预测坐标位置，得到人体关节点的坐标位置。3.如权利要求2所述的一种基于序列深度图像的人体身份识别方法，其特征在于，所述全卷积结构的卷积神经网络为训练好的全卷积结构的卷积神经网络，训练包括：利用样本序列深度图像训练全卷积结构的卷积神经网络，训练达到设置的最大迭代次数时，得到训练好的全卷积结构的卷积神经网络；所述全连接层的卷积神经网络为训练好的全连接层的卷积神经网络，训练包括：利用样本序列深度图像的人体关节点的预测坐标位置，对以人体关节点为中心的局部图像进行裁剪，得到样本局部关节点图像；利用样本局部关节点图像训练全连接层的卷积神经网络，训练达到设置的最大迭代次数时，得到训练好的全连接层的卷积神经网络；所述递归神经网络为训练好的递归神经网络，训练包括：基于样本局部关节点图像的特征利用递归神经网络隐式的学习人体关节点空间位置之...

【专利技术属性】
技术研发人员：肖阳，张博深，曹治国，毛靖，朱子豪，王焱乘，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42