基于生成对抗网络的帧率增强步态识别方法及装置制造方法及图纸

本发明专利技术属于计算机视觉领域，具体涉及一种基于生成对抗网络的帧率增强步态识别方法及装置，旨在降低识别图像的噪声，提高步态识别的准确率。该方法具体包括：首先通过一个生成对抗网络生成数据集中连续两帧之间的帧，然后将生成帧与原始帧合并计算步态能量图，然后通过步态能量图识别网络对个体进行识别。该方法中的生成对抗网络能够显著提高原始图像序列的帧率，同时生成的图像对噪声具有较好的鲁棒性，能够起到对步态能量图进行降噪的作用，同时在步态能量图识别网络中加入了新型边界比率损失函数，能够极好地平衡不同损失函数之间的量级，大大提升模型训练的稳定性。本方法能够明显提升跨视角及不跨视角的步态识别率。

【技术实现步骤摘要】
基于生成对抗网络的帧率增强步态识别方法及装置
本专利技术属于计算机视觉领域，具体涉及一种基于生成对抗网络的帧率增强步态识别方法及装置。
技术介绍
步态识别是生物识别领域最重要的问题之一，步态信息具有表征性强，难以伪装，不需要受试个体的配合等优良特性。目前主流的步态识别方法是先将原始图像进行分割，然后将人体轮廓存储为灰度图用于后续处理，受制于图像采集设备本身的性能，我们能够获得的帧率是十分有限的。此外，在这个过程中，分割算法并不能百分之百准确分割原始图像，有时甚至会得到较严重的噪声，在这种情况下部署一种对噪声鲁棒的帧率增强算法就显得尤为重要。本方法中提出的基于生成对抗网络的帧率增强步态识别方法及装置可以较好地解决这个问题。
技术实现思路
为了解决现有技术中的上述问题，即为了降低识别图像的噪声，提高步态识别的准确率，本专利技术的第一方面，提供了一种基于生成对抗网络的帧率增强步态识别方法，包括：利用原始图像序列与基于帧率增强网络生成的所述原始图像序列对应的下一帧的图像序列，生成帧率增强步态能量图；将所述帧率增强步态能量图输入至步态能量图识别网络得到识别编码，并计算识别编码与真实身份标签编码的欧氏距离；选择欧氏距离最小的真实身份标签编码所对应的身份标签，并以该身份标签作为身份识别结果；其中，所述帧率增强网络基于生成对抗网络构建，用于生成所输入的原始图像序列对应的下一帧的图像序列；所述步态能量图识别网络基于神经网络构建，用于通过帧率增强步态能量图获取识别编码。进一步地，所述帧率增强网络，其训练方法为：步骤S11：对训练数据集中的轮廓图进行预处理得到步态序列；步骤S12：将去掉所述步态序列最后一帧后的步态序列作为第一序列，将去掉所述步态序列第一帧后的步态序列作为第二序列；步骤S13：将第一序列输入至帧率增强网络的生成器，将第二序列输入至帧率增强网络的判别器；步骤S14：基于反向传播算法、Adam优化器、生成器损失函数、判别器损失函数，训练帧率增强网络；步骤S15：重复步骤S11-S14，直到达到设定的迭代次数。进一步地，所述生成器损失函数为：其中p，q分别为生成器生成图像平面上的点和真实的下一帧图像平面上的点，i、j分别为图像中点的横纵坐标。进一步地，所述判别器损失函数为：公式中为生成器生成图像编码的期望；为真实下一帧图像编码的期望；为梯度惩罚；其中，D(x)为判别器的输出；x为判别器的输入；λ1为超参数；P为随机分布；Pg为生成的分布；Pr为真实的分布。进一步地，在TensorFlow学习框架的GPU上训练所述帧率增强网络。进一步地，步骤S11中“对训练数据集中的轮廓图进行预处理得到步态序列”，其方法为：获取训练数据集图像中行人轮廓的最小矩形框，并将其像素归一化为相同尺寸；去掉归一化后图像中白色部分长或宽小于像素阈值T1的图像；选取剩余图像中连续序列大于长度阈值T2的序列，作为步态序列。进一步地，所述步态能量图识别网络，其训练方法为：步骤S21：将帧率增强步态能量图输入至步态能量图识别网络进行步态识别；步骤S22：基于反向传播算法，应用Nadam优化器来减小识别误差；步骤S23：重复步骤S21-S22，直到达到设定的迭代次数。进一步地，在训练步态能量图识别网络过程中同时优化所述步态能量图识别网络的SoftMax损失函数，用于监督步态能量图识别网络的训练；在训练步态能量图识别网络过程中同时优化所述步态能量图识别网络的边界比率损失函数，用于增强步态能量图识别网络的分类能力；其中，所述边界比率损失函数为：其中ReLU6为神经网络激活函数；λ为权重系数；α为预设常数；表示身份相同的序列集合中的间距最大的两个编码之间的距离，表示身份不同的两个序列集合中间距最小的两个编码之间的距离，特别地，B、C两个集合既可以和集合A相同，又可以和集合A不同，但是B、C必属于身份不同的集合。本专利技术的第二方面，还提供了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行上述的基于生成对抗网络的帧率增强步态识别方法。本专利技术的第三方面，还提供了一种处理装置，包括处理器，适于执行各条程序；以及存储设备，适于存储多条程序；所述程序适于由处理器加载并执行以实现：上述的基于生成对抗网络的帧率增强步态识别方法。本专利技术的基于生成对抗网络的帧率增强步态识别方法及装置具有如下有益效果：(1)通过一个人工神经网络来增强步态轮廓序列的帧率，降低原有数据的噪声，提升步态能量图对身份信息的表征能力。(2)在步态能量图识别网络中加入了新型边界比率损失函数，能够极好地平衡不同损失函数之间的量级，大大提升模型训练的稳定性，能够明显提升跨视角及不跨视角的步态识别准确率。附图说明图1是本专利技术一种实施例的帧率增强步态能量图生成方法示意图；图2是本专利技术一种实施例的基于生成对抗网络的帧率增强步态识别方法框图；图3是本专利技术一种实施例的帧率增强网络结构示意图。具体实施方式下面参照附图来描述本专利技术的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本专利技术的技术原理，并非旨在限制本专利技术的保护范围。本专利技术的目的是针对现有技术在步态识别中遇到的难题，通过人工神经网络来增强步态轮廓序列的帧率，降低原有数据的噪声，提升步态能量图对身份信息的表征能力。为实现上述目的，首先通过生成对抗网络生成单帧图像对应的下一帧，然后将生成对抗网络应用到数据集上，形成帧率增强数据集，然后计算各个序列对应的步态能量图，将帧率增强步态能量图通过一个训练好的步态能量图识别网络得到识别编码，计算该编码与真实身份标签的编码的欧氏距离，基于欧氏距离聚类法得到分类结果。图1是本专利技术一种实施例的帧率增强步态能量图生成方法示意图，可以看出原始数据集图像序列直接计算得到的原始步态能量图具有较严重的噪声，而基于本专利技术得到的帧率增强步态能量图，对噪声具有较好的鲁棒性。本专利技术的基于生成对抗网络的帧率增强步态识别方法，是基于训练好的识别模型，具体内容包括：利用原始图像序列与基于帧率增强网络生成的原始图像序列对应的下一帧的图像序列，生成帧率增强步态能量图；将帧率增强步态能量图输入至步态能量图识别网络得到识别编码，并计算识别编码与真实身份标签编码的欧氏距离；选择欧氏距离最小的真实身份标签编码所对应的身份标签，并以该身份标签作为身份识别结果。其中，帧率增强网络基于生成对抗网络构建，用于生成所输入的原始图像序列对应的下一帧的图像序列；步态能量图识别网络基于神经网络构建，用于通过帧率增强步态能量图获取识别编码。具体地，本专利技术实施例的帧率增强网络用于将输入的原始图像序列生成原始图像序列对应的下一帧的图像序列，产生具有良好的视觉效果且对噪声鲁棒的轮廓图像。帧率增强网络是基于TensorFlow框架的GPU上进行迭代训练后的神经网络网路模型，其具体的训练过程为：步骤A0，对训练数据集中的轮廓数据进行预处理得到步态序列，步骤A1，将去掉步态序列最后一帧后的步态序列作为第一序列，将去掉所述步态序列第一帧后的步态序列作为第二序列；步骤A2，将步骤A1中得到的第一序列输入生成对抗网络的生成器，第二序列输入生成对抗网络的判别器步骤A3，采用反向传播算法、Adam优化器、生成器损失函数、判别器损失函数，训练帧率增强网络；步骤A4：重复步骤A0-本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的帧率增强步态识别方法，其特征在于，包括：利用原始图像序列与基于帧率增强网络生成的所述原始图像序列对应的下一帧的图像序列，生成帧率增强步态能量图；将所述帧率增强步态能量图输入至步态能量图识别网络得到识别编码，并计算识别编码与真实身份标签编码的欧氏距离；选择欧氏距离最小的真实身份标签编码所对应的身份标签，并以该身份标签作为身份识别结果；其中，所述帧率增强网络基于生成对抗网络构建，用于生成所输入的原始图像序列对应的下一帧的图像序列；所述步态能量图识别网络基于神经网络构建，用于通过帧率增强步态能量图获取识别编码。

【技术特征摘要】
1.一种基于生成对抗网络的帧率增强步态识别方法，其特征在于，包括：利用原始图像序列与基于帧率增强网络生成的所述原始图像序列对应的下一帧的图像序列，生成帧率增强步态能量图；将所述帧率增强步态能量图输入至步态能量图识别网络得到识别编码，并计算识别编码与真实身份标签编码的欧氏距离；选择欧氏距离最小的真实身份标签编码所对应的身份标签，并以该身份标签作为身份识别结果；其中，所述帧率增强网络基于生成对抗网络构建，用于生成所输入的原始图像序列对应的下一帧的图像序列；所述步态能量图识别网络基于神经网络构建，用于通过帧率增强步态能量图获取识别编码。2.根据权利要求1所述的基于生成对抗网络的帧率增强步态识别方法，其特征在于，所述帧率增强网络，其训练方法为：步骤S11：对训练数据集中的轮廓图进行预处理得到步态序列；步骤S12：将去掉所述步态序列最后一帧后的步态序列作为第一序列，将去掉所述步态序列第一帧后的步态序列作为第二序列；步骤S13：将第一序列输入至帧率增强网络的生成器，将第二序列输入至帧率增强网络的判别器；步骤S14：基于反向传播算法、Adam优化器、生成器损失函数、判别器损失函数，训练帧率增强网络；步骤S15：重复步骤S11-S14，直到达到设定的迭代次数。3.根据权利要求2所述的基于生成对抗网络的帧率增强步态识别方法，其特征在于，所述生成器损失函数为：其中p，q分别为生成器生成图像平面上的点和真实的下一帧图像平面上的点，i、j分别为图像中点的横纵坐标。4.根据权利要求2所述的基于生成对抗网络的帧率增强步态识别方法，其特征在于，所述判别器损失函数为：公式中，为生成器生成图像编码的期望；为真实下一帧图像编码的期望；为梯度惩罚；其中，D(x)为判别器的输出；x为判别器的输入；λ1为超参数；P为随机分布；Pg为生成的分布；Pr为真实的分布。5.根据权利要求2-4任一项所述的基于生成对抗网络的帧率增强步态识别方法，其特征在于，在TensorFl...

【专利技术属性】
技术研发人员：王亮，黄岩，宋纯锋，孙天宇，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11