基于步态运动估计的跨视角视频步态识别方法技术

本发明专利技术设计了一种基于步态运动估计的跨视角视频步态识别方法，特别是增加对视频步态运动的预测和对多视角步态特征的融合，和对多方向特征。提出一种步态图像分割方法和步态运动估计方法，同时提取步态空间与时序特征，结合对抗学习训练策略，研究和探索出一种基于步态运动估计的跨视角视频步态识别方法。所发明专利技术的方法，其输入为一个视频中多帧连续的步态图像序列，输出为对步态特征分类的标签。提高步态身份识别的准确度。态身份识别的准确度。态身份识别的准确度。

【技术实现步骤摘要】
基于步态运动估计的跨视角视频步态识别方法


[0001]本专利技术涉及人工智能领域，具体涉及一种基于步态运动估计的跨视角视频步态识别方法。

技术介绍

[0002]步态识别是指通过人的行走方式来识别或验证人的身份，它可以为信息系统登入提供安全保护。与其他生物特征识别技术相比，步态识别具有可以远距离实施、无需被识别者配合等优点。基于上述优势，步态识别技术对于区域访问控制、安防监控、刑事调查等多个应用方向都具有重要意义。
[0003]随着卷积神经网络的发展，基于深度学习的方法已被广泛应用于步态识别研究，借用神经网络强大的拟合能力，这些方法取得了较好的成果。现有基于深度学习的步态识别技术大多采用步态能量图（Gait Energy Image, GEI）作为神经网络训练和检测的输入特征。步态能量图提取方法简单，也能很好的表现步态的速度，形态等特征。但目前的视频步态识别系统存在以下问题。
[0004]首先，使用步态能量图作为步态特征缺少时序信息，难以有效地利用步态侧影间连续的时序特征。步态特征预处理提取时，首先利用图像分割技术从采集的视频帧中提取人物的侧影，图像分割技术的优劣决定了输入图像特征的质量。而来自同一段视频的不同帧的侧影间在时序上存在紧密联系。通过提取和分析不同视频帧之间步态特征的联系与差异，能够估计多角度步态的运动规律，从而充分利用步态侧影间的时序信息与多角度步态之间的联系，提高步态识别的准确率。因此，开展针对视频步态运动估计的高精度步态识别方法研究，具有重要的现实意义。
[0005]另外，现有的基于深度学习的视频步态识别技术主要关注于单一方向的步态识别，例如侧面、正面或背面，如何使采用单一方向视频训练得到的模型适配于其他方向的视频的步态识别，即实现跨视角的步态识别，是一个非常难的问题。在实际应用中，跨视角的步态识别具有非常迫切的行业需求。
[0006]针对以上问题，本专利技术提出了一种基于步态运动估计的跨视角视频步态识别方法。本专利技术提出一种步态图像分割方法和步态运动估计方法，同时提取步态空间与时序特征，结合对抗学习训练策略，研究和探索出一种基于步态运动估计的跨视角视频步态识别方法。

技术实现思路

[0007]本专利技术为了提高步态身份识别的准确度，特别是增加对视频步态运动的预测和对多视角步态特征的融合，和对多方向特征，提出了一种基于步态运动估计的跨视角视频步态识别方法及系统。所专利技术的方法，其输入为一个视频中多帧连续的步态图像序列，输出为对步态特征分类的标签。
[0008]本专利技术的基于步态运动估计的跨视角视频步态识别方法包含以下步骤：
步骤S1，构建步态图像分割深度学习网络，用于提取图像中的人物前景目标；步骤S2，同步采集多人多方向的步态视频图像数据集，利用步态视频图像数据集对步骤S1构建的深度学习网络进行训练，得到步态前景分割模型；步骤S3，构建基于GAN网络的步态运动估计网络，该网络包含一个步态运动估计编码
‑
解码网络生成器和多个判别器；所述生成器输入为一个视角的n张连续步态序列图像，输出为m个不同视角的第n+1张步态预测图像；所述判别器的个数为m，各判别器输入数据为上述生成器输出的单角度步态预测图像和该角度对应的真实步态图像，输出为真或假的标签，其中，n大于等于2，m大于等于4；步骤S4，利用步骤S2步态前景分割模型分割后的步态图像对步骤S3构建的深度学习网络进行训练；步骤S5，构建用于步态身份识别的深度学习网络，该网络包括步态特征提取网络和LSTM网络；其中步态特征提取网络为步骤S4中训练所得生成器中的编码网络，利用该编码网络进行连续步态图像的步态特征提取；LSTM网络的输入数据为编码器提取的步态特征，输出为类别标签；步骤S6，利用步骤S2处理后的视频步态数据集对步骤S5构建的深度学习网络进行训练；步骤S7，利用步骤S6训练好的模型进行步态身份识别。
[0009]进一步地，所述步态图像分割深度学习网络W
‑
Net网络，包括编码
‑
解码网络和特征融合模块；其中，编码网络阶段输入数据为步态图像视频帧，并利用卷积层和池化层提取特征；解码阶段输入数据为编码模块的输出，利用反卷积重现图像分类后特征并还原尺寸；特征融合模块将不同层生成的特征图像进行融合；其中，特征融合层将编码模块与解码模块进行连接，同时各个特征融合层纵向连接，以最后一层特征融合层的输出作为提取的步态特征。
[0010]进一步地，所述步骤S1采用特征融合模块，将编码网络的每个池化层前的卷积层输出与相应解码网络部分最后的卷积层输出相融合；所述步骤S1中编码
‑
解码网络采用池化索引保存特征细节。
[0011]进一步地，步骤S2的具体过程为：S2
‑
1，采用N个样本进行训练，每个样本包含一张原始步态图像和其对应的真实前景掩模图，其中代表第c张图像，代表该图像的真实前景掩模，T表示图像中像素的总数，故由步骤S1
‑
3得到的融合图像特征可表述为：其中，为第i个像素值；步骤S2
‑
2，对上一步计算得出的融合图像特征和真实图像标签进行交叉熵损失计算；网络在训练时各编码、解码、融合层训练的参数，采用随机法进行初始化。设W为网络中参数权重值，F
i
是融合特征图在像素i的输出值，P(.)表示计算联合概率，则对像素点i计算
交叉熵损失为：则对整张步态分割图像的所有像素点计算交叉熵损失，得到总损失L为： 。
[0012]进一步地，所述步骤3的具体过程如下：S3
‑
1，将连续的步态特征图像输入步态运动估计生成网络，经过生成网络的编码网络，输出1个融合的步态特征F
gait
；S3
‑
2，将上一步提取的步态特征输入生成网络的解码网络，使得该特征经过多次上采样和反卷积操作，并与编码阶段对应的特征进行融合，最终得到m张不同角度的与输入图片大小相同的输出步态图片，作为网络估计第n+1张步态图片的结果；S3
‑
3，将上一步预测图像或真实第n+1张图片选择其一输入到判别层网络，判别器对输入图片进行卷积特征提取，并最终输出判别器的判断结果，即或真或假的标签；S3
‑
4，将上一步各个判别器输出进行加权求和，其中对与输入步态图像视频帧角度相同的判别器和方向不同的判别器分别配置权重，加权求和后得到最终标签值。
[0013]进一步地，所述步骤S4的过程如下：将n张连续的时序步态图像I
t1
与I
t2
输入网络，网络生成预测的m个不同角度的第n+1张步态图像；得到第i个角度的步态运动估计生成网络的L1距离损失函数为：S4
‑
2，单个判别分支将真实的下一张图像或者生成网络预测的生成图像作为输入，输出真或假的标签值；增加了L1距离损失函数的单一判别器损失函数定义如下：其中，D表示判别器的输出值，λ是对L1损失的系数，用于设置L1损失的权重，T表示输入判别器的图片，t本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于步态运动估计的跨视角视频步态识别方法，其特征在于，包括以下步骤：步骤S1，构建步态图像分割深度学习网络，用于提取图像中的人物前景目标；步骤S2，同步采集多方向的步态视频图像数据集，利用步态视频图像数据集对步骤S1构建的深度学习网络进行训练，得到步态前景分割模型；步骤S3，构建基于GAN网络的步态运动估计网络，该网络包含一个步态运动估计编码
‑
解码网络生成器和多个判别器；所述生成器输入为一个视角的n张连续步态序列图像，输出为m个不同视角的第n+1张步态预测图像；所述判别器的个数为m，各判别器输入数据为上述生成器输出的单角度步态预测图像和该角度对应的真实步态图像，输出为真或假的标签，其中，n大于等于2，m大于等于4；步骤S4，利用步骤S2步态前景分割模型分割后的步态图像对步骤S3构建的深度学习网络进行训练；步骤S5，构建用于步态身份识别的深度学习网络，该网络包括步态特征提取网络和LSTM网络；其中步态特征提取网络为步骤S4中训练所得生成器中的编码网络，利用该编码网络进行连续步态图像的步态特征提取；LSTM网络的输入数据为编码器提取的步态特征，输出为类别标签；步骤S6，利用步骤S2处理后的视频步态数据集对步骤S5构建的深度学习网络进行训练；步骤S7，利用步骤S6训练好的模型进行步态身份识别。2.根据权利要求1所述的基于步态运动估计的跨视角视频步态识别方法，其特征在于：所述步骤S1构建的步态图像分割深度学习网络为W
‑
Net网络，包括编码
‑
解码网络和特征融合模块；其中，编码网络的输入数据为连续步态图像视频帧，并利用卷积层和池化层提取特征；解码网络的输入数据为编码网络的输出，利用反卷积重现图像分类后特征并还原尺寸；特征融合模块将不同层生成的特征图像进行融合；特征融合层将编码网络与解码网络进行连接，同时各个特征融合层纵向连接，以最后一层特征融合层的输出作为提取的步态特征。3.根据权利要求2所述的基于步态运动估计的跨视角视频步态识别方法，其特征在于：所述步骤S1采用特征融合模块，将编码网络的每个池化层前的卷积层输出与相应解码网络部分最后的卷积层输出相融合；所述步骤S1中编码
‑
解码网络采用池化索引保存特征细节。4.根据权利要求2所述的基于步态运动估计的跨视角视频步态识别方法，其特征在于：步骤S2的具体过程为：S2
‑
1，采用N个样本进行训练，每个样本包含一张原始步态图像和其对应的真实前景掩模图，其中代表第c张图像， 代表该图像的真实前景掩模，T表示图像中像素的总数，故由步骤S1
‑
3得到的融合图像特征可表述为：其中， 为第i个像素值；步骤S2
‑
2，对上一步计算得出的融合图像特征和真实图像标签进行交叉熵损失计算；
网络在训练时各编码、解码、融合层训练的参数，采用随机法进行初始化；设W为网络中参数权重值，F
i
是融合特征图在像素i的输出值，P(.)表示计算联合概率，则对像素点i计算交叉熵损失为：则对整张步态分割图像的所有像素点计算交叉熵损失，得到总损失L为：。5.根据权利要求2所述的基于步态运动估计的跨视角视频步态识别方法，其特征在于：步骤S3的具体过程为：S3
‑
1，将连续的步态特征图像输入步态运动估计生成网络，经过生成网络的编码网络，...

【专利技术属性】
技术研发人员：钟孝云，邹勤，陈龙，邱雁成，王中元，
申请(专利权)人：武汉大学，
类型：发明
国别省市：