一种基于生成对抗图像补全网络的步态识别方法技术

本发明专利技术公开一种基于生成对抗图像补全网络的步态识别方法，能解决中小面积人体遮挡的步态识别方法。包括以下步骤：首先为了解决行走过程中人体局部遮挡的问题，提出了一种基于Wasserstein GAN的步态轮廓图生成网络,能够为图像中的遮挡区域生成上下文一致的补全图像；其次，为了减少噪声对特征提取的影响，采用具有鲁棒性的堆叠自动编码器进行特征提取；最后，为了提高分类的能力，采用稀疏编码的方法对步态特征进行表示与分类，使分类结果更加精确。

A Gait Recognition Method Based on Generating Countermeasure Image Completion Network

【技术实现步骤摘要】
一种基于生成对抗图像补全网络的步态识别方法
本专利技术属于图像识别领域，主要解决行走过程中人体部分遮挡对步态识别带来的影响。
技术介绍
步态是一种具有吸引力的生物特征，具有远距离识别性、非侵犯性、难隐藏或伪装等优点；因此，步态识别在门禁系统、行人监控和公共安防等领域有广泛的应用前景，成为了研究人员所关注的热门研究方向。目前的识别方法主要通过提取一个周期内的行人轮廓图合成步态能量图，再通过特征提取算法在能量图上提取行人的特征，最后采用分类算法进行特征的分类。但在该研究过程中仍存在很多难点，例如视角、穿着的改变以及人体遮挡等因素都会对提取的步态轮廓图造成影响，从而影响识别准确度。因此获得完整的步态轮廓图，是实现步态准确分类的可靠保障。本专利技术主要解决行走过程中的人体遮挡造成轮廓缺损的问题。在一个摄像头下，视频中不可避免的会产生行人与行人、行人与物之间的遮挡，这将造成提取的轮廓图出现缺损现象。目前大部分的方法是去掉缺损严重的轮廓图，只保留缺损较小的轮廓图。但这种方法将会导致丢失轮廓图中一部分的有用信息，对识别的准确度造成一点影响。所以本专利提出一种能根据图中非缺损部分像素对缺损部分进行补全的方法。一般的补全方法，例如线性插值方法只能根据缺损像素周围的点进行补全，忽略了缺损部分与人体各部分之间的比例关系。但在人的视觉感官中，我们能利用人体各部分之间的比例关系推断出被遮挡部分的图像。随着深度学习的发展，目前，神经网络具备一定的推断能力。因此设计一种基于生成对抗模型的步态补全网络来进行遮挡图像的补全，这将有助于步态识别准确分类。
技术实现思路
本专利技术针对行走过程中人体部分遮挡对步态识别带来的挑战提出了一种新颖的步态识别方法。首先使用背景差分的方法对行人的轮廓进行提取，对遮挡的步态轮廓图采用补全网络进行补全，再对步态轮廓图进行叠加计算得到步态熵图，为了减少生成的噪声干扰和轮廓提取时产生的噪声，采用堆叠去噪编码器进行特征提取，然后为了提高分类精度通过稀疏编码对特征进行分类。本专利技术所述的技术方案具体步骤如下：S1：将检测到的行人视频进行逐帧生成人体轮廓图，主要方法是利用背景差分法，通过视频中各帧与背景帧相比较，像素相差较大的部分即为人体轮廓，再对轮廓按人体最小矩形进行裁剪和归一化。S2：对于第一步获得的缺损轮廓图需要进行补全处理，首先通过非缺损的步态轮廓图训练生成对抗网络，使其能生成与真实步态轮廓一致的步态轮廓图。该过程先训练判别器，使其能区分真实数据与生成数据，再训练生成器，使其能生成与真实步态轮廓一致的步态轮廓图，不断重复此操作，直到网络收敛；S3：生成网络完成训练后，再对缺损的步态轮廓图与生成的轮廓图进行对比，利用它们之间的损失用来优化生成器中的隐变量z，使生成器能生成与遮挡轮廓图相近的完整轮廓图，最后使用该轮廓图替代缺损的轮廓图；S4：在得到步态轮廓后计算步态能量图。首先根据轮廓中人体高和宽之间的比例检测一个周期，再对一个周期内所有的步态轮廓图进行平均叠加，其中ft(x,y)表示t时刻的轮廓图；S5：其次，为了减少背包或衣着的改变带来的影响，按照下式进一步计算步态熵图：EGEnI(x,y)＝-EGEI(x,y)log2EGEI(x,y)-(1-EGEI(x,y))log2(1-EGEI(x,y))S6：得到步态熵图后，采用堆叠自动编码器进行步态特征的提取。输入层的数目为5时实验效果最佳，此时每层隐藏节点个数分别为：1000、500、250、125、75，输出层大小和输入层相同，结构对称。实验中首先对堆叠自动编码器从底层到高层逐层训练，然后将网络只保留编码部分对输入的步态熵图进行特征提取；S7：得到步态特征后，采用稀疏表示对特征进行表示与分类，首先构建特征字典，再利用正交匹配追踪算法(OMP)计算稀疏系数，然后根据测试特征的重构误差进行步态分类。所述S1中需要对裁剪的轮廓图进行归一化，为了保持外接矩形的长宽比，将二值轮廓图像缩放到64*(96/高*宽)，然后以中心轴为对称轴，图像的宽度扩展为64，扩展部分的灰度都为0，最终将图像归一化为64*96像素的图像；所述S2中使用生成对抗网络对缺损图像进行补全，训练补全网络时先根据生成轮廓图与真实轮廓图之间的损失训练判别器，再利用判别器的计算的损失训练生成器，不断重复训练直到网络收敛。其具体步骤如下：S2.1：随机初始化判别器参数θD和生成器参数θG；S2.2：repeatS2.3：fort＝0,...,KdoS2.4：从分布N(0,1)中采样b个样本zi；S2.5：从训练集T中采样b个样本xi；S2.6：计算损失：S2.7：参数更新：S2.8：剪裁θD，将其限制在[-c,c]范围内；S2.9：endforS2.10：从分布N(0,1)中采样b个样本zi；S2.11：计算损失：S2.12：参数更新：S2.13：until判别器网络收敛。所述S3中使用训练好生成网络，再通过缺损的步态轮廓图优化生成器中的隐变量Z，其具体步骤如下：S3.1：从分布N(0,1)中采样b个样本zi；S3.2：repeatS3.3：计算损失：Lz←Ls+λrLr。其中Lr＝D(G(z；θG))，表示补全网络的真实损失，其目的是使生成网络生成图片应该尽可能的接近真实二值轮廓图，G(z；θG)为隐含变量通过生成器生成的二值轮廓图。Ls＝δ(G(z；θG),I)表示生成图片与损失图片I之间的损失，λr为真实损失权重；S3.4：隐含变量z更新：S3.5：untilLz小于阈值ε；S3.6：将最后生成的作为补全的轮廓图。所述S7中将得到步态特征后，采用稀疏表示对特征进行表示与分类，首先构造初始字典表示提取的第i个人第j个视频的步态特征，Ni和K分别表示第i个人的视频总数和人的总数，d和N表示特征维度和总的训练视频数。得到字典D后，测试步态特征y可以表示为y＝Dα∈Rd，其中表示y的稀疏线性表示，对应第i个人的第j个用于训练的视频。求解稀疏系数α可以表示为：上述公式中稀疏系数求解采用正交匹配追踪算法(OMP)。计算稀疏系数后，残差可以表示为：ri(y)＝||y-Dδi(α)||1其中，ri是第i个人的残差，δi(α)该向量只保留字典D中第i类对应项，其他类对应项为0。最后，选择残差最小的类作为最后的分类：本专利技术提出了一种基于生成对抗图像补全网络的步态识别方法。在步态视频采集过程中不可避免的会产生行人与行人、行人与物之间的遮挡，在行人轮廓提取时往往会造成缺损，导致行人的部分信息会丢失。因此，对遮挡的轮廓图进行补全是提高识别准确度的关键。本专利技术首先对收集的视频进行背景去除，获得步态轮廓图，再对轮廓图进行裁剪和归一化。由于遮挡的出现，获得的轮廓图会存在缺损的情况。本专利技术提出了一种基于生成对抗网络的图像补全方法，首先通过训练生成对抗网络，使其能生成与真实步态轮廓一致的步态轮廓图，再通过缺损的轮廓图与生成轮廓图之间的损失不断优化隐含变量z，直到损失小于一个阈值后，将最后生成的轮廓图作为补全的轮廓图。获得补全的轮廓图后对一个周期内的轮廓图进行叠加求平均值得到步态能量图；其次，为了减少背包与衣着的改变带来的影响，进一步计算步态熵图。获得步态表示后采用堆叠自动编码器进行特征提取，实验证明当层数为5层时系统识别率最高，而各隐本文档来自技高网...

【技术保护点】
1.一种基于生成对抗图像补全网络的步态识别方法，其包含以下步骤：S1：将检测到的行人视频进行逐帧生成人体轮廓图，主要方法是利用背景差分法，通过视频中各帧与背景帧相比较，像素相差较大的部分即为人体轮廓，再对轮廓按人体最小矩形进行裁剪和归一化；S2：对于第一步获得的缺损轮廓图需要进行补全处理，首先通过非缺损的步态轮廓图训练生成对抗网络，使其能生成与真实步态轮廓一致的步态轮廓图。该过程先训练判别器，使其能区分真实数据与生成数据，再训练生成器，使其能生成与真实步态轮廓一致的步态轮廓图，不断重复此操作，直到网络收敛；S3：训练好生成网络，再通过缺损的步态轮廓图优化生成器中的隐变量z，使生成器能生成与遮挡轮廓图相近的完整轮廓图，最后使用该轮廓图替代缺损的轮廓图；S4：在得到步态轮廓后计算步态能量图，即一个周期内对所有的步态轮廓图进行叠加平均，其中ft(x,y)表示t时刻的轮廓图；

【技术特征摘要】
1.一种基于生成对抗图像补全网络的步态识别方法，其包含以下步骤：S1：将检测到的行人视频进行逐帧生成人体轮廓图，主要方法是利用背景差分法，通过视频中各帧与背景帧相比较，像素相差较大的部分即为人体轮廓，再对轮廓按人体最小矩形进行裁剪和归一化；S2：对于第一步获得的缺损轮廓图需要进行补全处理，首先通过非缺损的步态轮廓图训练生成对抗网络，使其能生成与真实步态轮廓一致的步态轮廓图。该过程先训练判别器，使其能区分真实数据与生成数据，再训练生成器，使其能生成与真实步态轮廓一致的步态轮廓图，不断重复此操作，直到网络收敛；S3：训练好生成网络，再通过缺损的步态轮廓图优化生成器中的隐变量z，使生成器能生成与遮挡轮廓图相近的完整轮廓图，最后使用该轮廓图替代缺损的轮廓图；S4：在得到步态轮廓后计算步态能量图，即一个周期内对所有的步态轮廓图进行叠加平均，其中ft(x,y)表示t时刻的轮廓图；S5：其次，为了减少背包与衣着的改变带来的影响，进一步计算步态熵图：EGEnI(x,y)＝-EGEI(x,y)log2EGEI(x,y)-(1-EGEI(x,y))log2(1-EGEI(x,y))S6：得到步态熵图后，采用堆叠自动编码器进行步态特征的提取。输入层的数目为5时实验效果最佳，每层隐藏节点个数分别为：1000、500、250、125、75，输出层大小和输入层相同。首先对堆叠自动编码器从底层到高层逐层训练结束后，然后将网络只保留编码部分对输入的数据进行特征提取；S7：得到步态特征后，采用稀疏表示对特征进行表示与分类，利用正交匹配追踪算法(OMP)计算稀疏系数，然后根据重构误差进行步态特征分类。2.根据权利要求1所述的基于生成对抗图像补全网络的步态识别方法，其特征在于：本发明中处理的对象可以为公共场合监视器采集的行人视频。将检测到的行人视频进行逐帧生成人体轮廓图，主要方法是利用背景差分法，通过视频中各帧与背景帧相比较，像素相差较大的部分即为人体轮廓。其中，若像素差值大于40，说明差值较大，就将前景图素点设为255白色，若不大于40，则设为0黑色。得到人体步态二值化轮廓，再对轮廓按人体最小矩形进行裁剪和归一化。轮廓图进行归一化，为了保持外接矩形的长宽比，将二值轮廓图像缩放到64*(96/高*宽)，然后以中心轴为对称轴，图像的宽度扩展为64，扩展部分的灰度都为0，最终将图像归一化为64*96像素的图像。3.根据权利要求1所述的基于生成对抗图像补全网络的步态识别方法，其特征在于：获得的轮廓图会存在缺损的情况，需要进行...

【专利技术属性】
技术研发人员：王浩，夏利民，郭炜婷，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43