一种基于GEI和TripletLoss-DenseNet的步态识别方法技术

本发明专利技术公开了一种基于GEI和TripletLoss‑DenseNet的步态识别方法，该方法将步态能量图GEI作为网络的输入，采用稠密连接方式连接网络各层，并使用三元组损失函数计算训练的损失值，通过优化损失值，反向传播更新模型参数，训练网络模型直至该模型收敛。经过网络的训练，最终将GEI映射为特定空间S上一维数组表示的特征向量，并用特征向量间的欧氏距离表示行人的相似度，通过相似度来匹配步态识别人的身份。通过在CASIA步态数据库的DatasetB上进行测试，体现了该模型具有较强的特征映射能力，证明了本发明专利技术能在训练样本较少的情况下训练出性能优越的基于步态的识别模型，而且具有跨视角识别、模型参数少等优点。

A Gait Recognition Method Based on GEI and TripletLoss-DenseNet

The invention discloses a gait recognition method based on GEI and Triplet Loss DenseNet. The method takes the gait energy graph GEI as the input of the network, connects each layer of the network in a dense connection way, calculates the training loss value by using the triple loss function, and updates the model parameters by optimizing the loss value, backpropagation and training. Practice the network model until it converges. After the training of the network, GEI is mapped to the eigenvector represented by one-dimensional array in a specific space S, and the similarity of pedestrians is expressed by Euclidean distance between eigenvectors. The identity of pedestrians is identified by similarity matching. Testing on DatasetB of CASIA gait database shows that the model has strong feature mapping ability, and proves that the gait-based recognition model with superior performance can be trained with fewer training samples, and has the advantages of cross-view recognition and fewer model parameters.

【技术实现步骤摘要】
一种基于GEI和TripletLoss-DenseNet的步态识别方法
本专利技术涉及深度学习、计算机视觉和模式识别领域，特别涉及一种基于步态能量图(GaitEngeryImage,GEI)和TripletLoss-DenseNet的步态识别方法。
技术介绍
传统的生物识别技术包括：人脸、虹膜、指纹等，但不同于这些传统的技术，步态识别技术具有远距离、非受控、不易模仿、难以隐藏等独特的优势，这使得其具有更广阔的应用背景，包括科研、交通、罪犯检测等。在以往的步态识别方法中，首先从视频序列中提取行人轮廓，并计算其步态能量图GEI，然后比较不同GEI之间的相似度，最终通过KNN进行分类识别。这些方法学习到的是一种具体身份的分类能力。但是以往的方法有两个很大的问题：多视角的情况下，精度很差，实用性大大降低；高纬度的特征计算量太大，不利于后期的计算和存储，且导致分类效果也很差。近些年，深度学习方法在人脸识别、语音识别、图像分类与检测等领域都取得了非常好的结果。之所以能取得如此好的结果，主要是因为深度卷积神经网络具有高度的非线性映射，能够学习到一种很强的特征映射能力，而这为设计复杂的高精度分类模型提供了可能性。
技术实现思路
为了解决现有步态识别技术在处理跨视角步态识别时精度不高以及数据处理步骤复杂的问题。本专利技术采用的技术方案为一种基于GEI和TripletLoss-DenseNet的步态识别方法，该方法将步态能量图GEI作为TripletLoss-DenseNetCNN的输入，使用网络将GEI映射为特定空间S上一维数组表示的特征向量，用特征向量间的欧氏距离表示行人的相似度，通过相似度来匹配步态识别人的身份。该方法包括步态能量图提取，模型训练，识别三个过程，具体如下：步骤S1，步态能量图提取过程：步骤S1.1，行人检测；首先用只含背景的图片建模，然后利用背景减除法直接提取视频每一帧中二值化行人轮廓图像，得到的二值化行人轮廓图像；步骤S1.2，步态轮廓图像预处理：将步骤S1.1得到的二值化行人轮廓图像利用形态学处理的方法消除图像中的噪声，并填补运动目标中像素位的缺失，以获得经过噪声处理后的二值化行人轮廓图像；步骤S1.3，将二值化行人轮廓图像尺寸归一化，中心化；从步骤S1.2获取的无噪声且轮廓完整平滑的二值化行人轮廓图像中提取行人轮廓的外接矩形部分图像，然后将外接矩形部分图像在不改变图像中行人轮廓形状的情况下，归一化为尺寸相同且所有帧中行人轮廓中心对齐的二值化行人轮廓图像；步骤S1.4，步态周期检测：因行人行走过程中，人体轮廓所占像素点面积随步态周期呈周期性变化，根据人体轮廓所占像素点面积变化规律，从步骤S1.3处理得到的二值化行人轮廓图像序列中提取一个步态周期的二值化行人轮廓图像序列。行人左脚或右脚迈出到该左脚或右脚下一次迈出为一个步态周期。步骤S1.5，GEI提取过程：将步骤S1.4处理得到的一个步态周期的所有二值化行人轮廓图像，带入GEI计算公式，计算得到行人的步态能量图；步骤S2，训练过程：步骤S2.1，将步骤S1得到的GEI图像样本输入TripletLoss-DenseNet卷积神经网络，经过网络映射，输出为一维数组表示的特征向量，用以表示步态特征；步骤S2.2，在步骤S2.1处理得到的特征向量中根据三元组选择方法，选择三元组对；步骤S2.3，根据三元组损失计算公式，计算步骤S2.2得到的三元组对的损失值，并以损失函数值为目标优化步骤S2.1中的TripletLoss-DenseNet模型；步骤S2.4，重复步骤S2.1至步骤S2.3直至TripletLoss-DenseNetCNN模型收敛；步骤S3，识别过程；步骤S3.1，将待识别的步态序列(即用于识别的一个测试步态序列)经过步骤S1获取其GEI；步骤S3.2，将步骤S3.1获取的GEI作为TripletLoss-DenseNet网络的输入，通过网络计算，得到对应的特征向量；步骤S3.3，通过对比步骤S3.2获取的待识别的步态特征向量与视频库中存档的特征向量，获取待识别步态序列的身份。保证网络的输入图像是无噪声且对齐的。每个训练样本经过网络映射得到的应该是一维数组表示的特征向量，且维度应限制在100维至200维之间。训练时应设定合适的步长，且每步训练中，采样的人数和每人采样的GEI样本数需满足三元组选择的要求。训练的步长应根据每步训练采样的数据动态变化。GEI计算公式：其中N和t分别代表一个步态周期中二值轮廓图像的个数，和当前二值轮廓图像在N张图像中的序号。S代表第t张二值图像在(x,y)坐标处的像素值。三元组损失计算公式：其中为固定的样本图像，被称为锚点样本；称为正样本，它和来自同一身份；称为负样本，与来自不同身份。分别为映射后的特征向量。α是一个强制存在的用于区分正样本和负样本的常量。n是训练集中所有可能的三元组的组数总和。本专利技术构建了基于GEI和TripletLoss-DenseNet的步态识别模型，通过多视角下的步态视频序列对应的GEI训练该模型，使得该模型具有跨视角识别步态的能力。该网络采用GEI图像作为输入，并使用三元组损失函数作为损失函数训练网络，网络训练结果为一维数组表示的特征向量。而且由于网络的深度的增加，传递的一些信息强度会逐渐下降，一些信息甚至会消失，所以本方法采用稠密连接方法连接网络各层。本专利技术的方法在CASIA步态数据库中的CASIA-B取得较高识别精度，优于近期其他在该数据集上做实验的方法。附图说明图1为本专利技术所涉及的未处理的视频序列图像。图2为本专利技术所涉及的经过步骤S1处理的视频序列帧图像；图3为本专利技术所涉及的步骤S1的处理过程；图4为本专利技术所涉及的步骤S2的处理过程；图5为本专利技术所涉及的基于GEI和TripletLoss-DenseNet的网络结构；图6为本专利技术所涉及的步骤S3的处理过程；具体实施方式为使本专利技术的目的，技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术做近一步的详细说明。视频图像预处理过程：预处理过程如图3所示。步骤S1，获取GEI(步态能量图)：步骤S1.1，使用前景检测方法ViBe来提取视频图像中行人轮廓。首先，在视频的前几帧中提取背景，用以背景建模，然后使用ViBe(一种运动目标检测算法)方法直接提取视频每一帧中二值化行人轮廓图像，并在提取过程中采用随机更新策略更新背景样本点。步骤S1.2，由于步骤S1.1处理得到的图像存在噪声，如：有些背景被误认为行人轮廓，故使用形态学中的开闭操作消除二值化行人图像中的噪声，并使用漫水填充操作填补运动目标中像素位的缺失，使图像更加光滑，以获得最佳二值化行人轮廓图像。步骤S1.3，由于步骤S1.2处理得到的图像中与行人轮廓无关的背景信息较多，故需提取包含行人轮廓的最大外接矩阵，即从行人轮廓图像中提取BoundingBox，其中面积最大的BoundingBox便为行人轮廓的外接矩形图像。但是每个行人轮廓的矩形图像尺寸不一致，而且为了更方便的进行网络训练，还需对矩形图像的尺寸进行等比例归一化、中心化，以获取统一尺寸的GEI图像样本。具体操作：首先将矩形图像的高度固定为P个像素位，根据缩放比例，将其宽度进行等比例放缩。其次，固定轮廓垂直中轴线将图像宽本文档来自技高网...

【技术保护点】
1.一种基于GEI和TripletLoss‑DenseNet的步态识别方法，其特征在于：该方法将步态能量图GEI作为TripletLoss‑DenseNet CNN的输入，使用网络将GEI映射为特定空间S上一维数组表示的特征向量，用特征向量间的欧氏距离表示行人的相似度，通过相似度来匹配步态识别人的身份；该方法包括步态能量图提取，模型训练，识别三个过程，具体如下：步骤S1，步态能量图提取过程：步骤S1.1，行人检测；首先用只含背景的图片建模，然后利用背景减除法直接提取视频每一帧中二值化行人轮廓图像，得到的二值化行人轮廓图像；步骤S1.2，步态轮廓图像预处理：将步骤S1.1得到的二值化行人轮廓图像利用形态学处理的方法消除图像中的噪声，并填补运动目标中像素位的缺失，以获得经过噪声处理后的二值化行人轮廓图像；步骤S1.3，将二值化行人轮廓图像尺寸归一化，中心化；从步骤S1.2获取的无噪声且轮廓完整平滑的二值化行人轮廓图像中提取行人轮廓的外接矩形部分图像，然后将外接矩形部分图像在不改变图像中行人轮廓形状的情况下，归一化为尺寸相同且所有帧中行人轮廓中心对齐的二值化行人轮廓图像；步骤S1.4，步态周期检测：因行人行走过程中，人体轮廓所占像素点面积随步态周期呈周期性变化，根据人体轮廓所占像素点面积变化规律，从步骤S1.3处理得到的二值化行人轮廓图像序列中提取一个步态周期的二值化行人轮廓图像序列；行人左脚或右脚迈出到该左脚或右脚下一次迈出为一个步态周期；步骤S1.5，GEI提取过程：将步骤S1.4处理得到的一个步态周期的所有二值化行人轮廓图像，带入GEI计算公式，计算得到行人的步态能量图；步骤S2，训练过程：步骤S2.1，将步骤S1得到的GEI图像样本输入TripletLoss‑DenseNet卷积神经网络，经过网络映射，输出为一维数组表示的特征向量，用以表示步态特征；步骤S2.2，在步骤S2.1处理得到的特征向量中根据三元组选择方法，选择三元组对；步骤S2.3，根据三元组损失计算公式，计算步骤S2.2得到的三元组对的损失值，并以损失函数值为目标优化步骤S2.1中的TripletLoss‑DenseNet模型；步骤S2.4，重复步骤S2.1至步骤S2.3直至TripletLoss‑DenseNet CNN模型收敛；步骤S3，识别过程；步骤S3.1，将待识别的步态序列(即用于识别的一个测试步态序列)经过步骤S1获取其GEI；步骤S3.2，将步骤S3.1获取的GEI作为TripletLoss‑DenseNet网络的输入，通过网络计算，得到对应的特征向量；步骤S3.3，通过对比步骤S3.2获取的待识别的步态特征向量与视频库中存档的特征向量，获取待识别步态序列的身份。...

【技术特征摘要】
1.一种基于GEI和TripletLoss-DenseNet的步态识别方法，其特征在于：该方法将步态能量图GEI作为TripletLoss-DenseNetCNN的输入，使用网络将GEI映射为特定空间S上一维数组表示的特征向量，用特征向量间的欧氏距离表示行人的相似度，通过相似度来匹配步态识别人的身份；该方法包括步态能量图提取，模型训练，识别三个过程，具体如下：步骤S1，步态能量图提取过程：步骤S1.1，行人检测；首先用只含背景的图片建模，然后利用背景减除法直接提取视频每一帧中二值化行人轮廓图像，得到的二值化行人轮廓图像；步骤S1.2，步态轮廓图像预处理：将步骤S1.1得到的二值化行人轮廓图像利用形态学处理的方法消除图像中的噪声，并填补运动目标中像素位的缺失，以获得经过噪声处理后的二值化行人轮廓图像；步骤S1.3，将二值化行人轮廓图像尺寸归一化，中心化；从步骤S1.2获取的无噪声且轮廓完整平滑的二值化行人轮廓图像中提取行人轮廓的外接矩形部分图像，然后将外接矩形部分图像在不改变图像中行人轮廓形状的情况下，归一化为尺寸相同且所有帧中行人轮廓中心对齐的二值化行人轮廓图像；步骤S1.4，步态周期检测：因行人行走过程中，人体轮廓所占像素点面积随步态周期呈周期性变化，根据人体轮廓所占像素点面积变化规律，从步骤S1.3处理得到的二值化行人轮廓图像序列中提取一个步态周期的二值化行人轮廓图像序列；行人左脚或右脚迈出到该左脚或右脚下一次迈出为一个步态周期；步骤S1.5，GEI提取过程：将步骤S1.4处理得到的一个步态周期的所有二值化行人轮廓图像，带入GEI计算公式，计算得到行人的步态能量图；步骤S2，训练过程：步骤S2.1，将步骤S1得到的GEI图像样本输入TripletLoss-DenseNet卷积神经网络，经过网络映射，输出为一维数组表示的特征向量，用以表示步态特征；步骤S2.2，在步骤S2.1处理得到的特征向量中根据三元组选择方法，选择三元组对；步骤S2.3，根据三元组损失计算公式，计算步骤S2.2得到的三元组对的损失值，并以损失函数值为目标优化步骤S2.1中的Triple...

【专利技术属性】
技术研发人员：杨新武，侯海娥，冯凯，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11