一种基于暹罗网络的多输入跨视角步态识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于暹罗网络的多输入跨视角步态识别方法及装置，其中，所述方法包括：基于行人步态数据集，获取能量图probe和gallery，以及基于OU‑ISIR MVLP数据集获取属于同一行人的正样本能量图positive和不属于同一行人的负样本能量图negative；搭建改进的步态验证暹罗网络，得到L2

A multi input and cross view gait recognition method and device based on Siam network

【技术实现步骤摘要】
一种基于暹罗网络的多输入跨视角步态识别方法及装置
本专利技术涉及步态识别的
，尤其涉及一种基于暹罗网络的多输入跨视角步态识别方法及装置。
技术介绍
目前，步态识别是一种生物特征，其原始数据是呈现步行者的视频序列。它特别适用于远距离的人体识别，与指纹、虹膜等其他生物特征相比，不需要被识别者进行配合。因此，在远距离和不受控制的场景中，步态特征更容易进行人体识别。随着人工智能和计算机技术发展，生产管理、安防监控等领域对人的身份辨识和智能化管理需求逐步迫切，而通过传统的人脸识别等方法往往存在许多弊端，特别是工业车间光线不充足的复杂场景下难以实现远距离身份辨识，而步态识别可根据人的行走步态体型特征进行识别，解决复杂环境远距离身份识别难题，是未来远距离场景身份识别的主流方向。然而，步态识别容易受到个体内变化的影响，如视野、服装、步行速度、鞋子和摄像机视角等；目前步态识别的主要方法有两种：第一类是重建人体3D模型，但是此类方法通常需要在完全控制和协作环境下的多个校准相机。第二类是人工提取人体步态视角不变下的特征，但是此类方法只有在特定环境条件下才能有较好效果。现在缺乏一种针对视角变化下的步态进行匹配的识别方法。
技术实现思路
本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于暹罗网络的多输入跨视角步态识别方法及装置，针对一对一和一对多的匹配方式提出了步态验证暹罗网络和步态识别暹罗网络，分别在不同的匹配方式下有更好的基准。为了解决上述技术问题，本专利技术实施例提供了一种基于暹罗网络的多输入跨视角步态识别方法，所述方法包括：基于行人步态数据集，通过计算行人步态周期获取能量图probe和gallery，以及基于OU-ISIRMVLP数据集获取属于同一行人的正样本能量图positive和不属于同一行人的负样本能量图negative；基于所述能量图probe和gallery，搭建改进的步态验证暹罗网络，并通过所述改进的步态验证暹罗网络得到L21和L22，以及基于所述能量图probe、所述正样本能量图positive和负样本能量图negative，搭建改进的步态识别暹罗网络，并通过所述改进的步态识别暹罗网络得到L23、L24、L25和L26；通过所述L21和L22计算得出对比损失函数，并训练步态验证暹罗网络的卷积网络参数，使得所述对比损失函数达到最低，以及通过所述L23、L24、L25和L26计算得出三重对比损失函数，并训练步态识别暹罗网络的卷积网络参数，使得所述三重对比损失函数达到最低；当所述对比损失函数和所述三重对比损失函数达到最低时，对其他行人重复进行搭建改进的步态验证暹罗网络和步态识别暹罗网络、计算得出对比损失函数和三重对比损失函数、训练步态验证暹罗网络的卷积网络参数和步态识别暹罗网络的卷积网络参数来进行跨视角验证和识别；对所述验证和识别的效果进行评估。可选的，所述行人步态数据集需对每个行人进行轮廓提取，进行二值化处理；通过所述二值化处理，在同一视角下，得到由二值轮廓序列构成的二值轮廓图，每个所述二值轮廓图的长度和宽度随后被调整至相同的长度和宽度的固定值；通过所述二值轮廓图中的二值轮廓的宽高比变化周期，得到与二值轮廓图对应的行人在与二值轮廓图对应的特定视角下的步态周期；通过分析所述步态周期后，对在相同周期下的所有二值轮廓图求均值得到平均轮廓图像，所述平均轮廓图像包括能量图probe和gallery。可选的，所述步态验证暹罗网络包括第一验证模块和第二验证模块，其中，所述第一验证模块包括2个平行卷积网络，所述第二验证模块包括1个平行卷积网络；所述第一验证模块和所述第二验证模块的每个平行卷积网络均共享卷积网络参数，并均由5个卷积层、2个池化层和1个全连接层构成。可选的，所述步态识别暹罗网络包括第一识别模块和第二识别模块，其中，所述第一识别模块包括3个并行卷积网络，所述第二识别模块包括2个并行卷积网络；所述第一识别模块和所述第二识别模块的每个并行卷积网络均共享卷积网络参数，并均由5个卷积层、2个池化层和1个全连接层构成。可选的，所述基于所述能量图probe和gallery，搭建改进的步态验证暹罗网络，并通过所述改进的步态验证暹罗网络得到L21和L22包括：将所述能量图probe和gallery分别输入至所述第一验证模块的2个平行卷积网络中，所述第一验证模块输出所述能量图probe和gallery的GIEs的特征向量的欧式距离平方L21；将所述能量图probe和gallery处理为单张能量图并输入至所述第二验证模块，所述第二验证模块输出为所述能量图probe和gallery的差的GIEs的特征向量的长度平方L22。可选的，所述基于所述能量图probe、所述正样本能量图positive和负样本能量图negative，搭建改进的步态识别暹罗网络，并通过所述改进的步态识别暹罗网络得到L23、L24、L25和L26包括：将所述能量图probe、正样本能量图positive和负样本能量图negative分别输入至所述第一识别模块的3个并行卷积网络中，所述第一识别模块输出所述能量图probe和所述正样本能量图positive的特征向量的欧氏距离平方L23，以及所述能量图probe和所述负样本能量图negative的特征向量的欧氏距离平方L24；将所述能量图probe和正样本能量图positive的对应像素值相减得到第一识别能量图，将能量图probe和负样本能量图negative的对应像素值相减得到第二识别能量图；将所述第一识别能量图和所述第二识别能量图分别输入至所述第二识别模块的2个并行卷积网络，所述第二识别模块输出所述第一识别能量图的特征向量的长度平方L25，以及所述第二识别能量图的特征向量的长度平方L26。可选的，所述通过所述L21和L22计算得出对比损失函数，并训练步态验证暹罗网络的卷积网络参数，使得所述对比损失函数达到最低包括：通过计算求得所述L21和L22的均值L2ave；基于所述均值L2ave，通过计算得出对比损失函数Lcont，其中，所述对比损失函数Lcont的具体计算公式如下：其中，M表示数据集中与行人匹配的能量图的数量，y1m和y2m表示第m个输入能量图对所属的行人识别符ID，margin表示赋值为3，表示第m个输入能量图对在第一验证模块和第二验证模块下的L21和L22的平均L2范数；基于所述均值L2AVE和对比损失函数Lcont，对所述步态验证暹罗网络中的所述第一验证模块和所述第二验证模块的平行卷积网络的卷积网络参数进行训练；基于所述训练的结果，使得所述对比损失函数达到最低，即使得属于同一行人的probe和gallery要比数据集中属于不同行人的能量图对具有更小的。可选的，所述通过所述L23、L24、L25和L26计算得出三重对比损失函数，并训练步态识别暹罗网络的卷积网络参数，使得所述三重对比损失函数达到最低包括：<本文档来自技高网...

【技术保护点】
1.一种基于暹罗网络的多输入跨视角步态识别方法，其特征在于，所述方法包括：/n基于行人步态数据集，通过计算行人步态周期获取能量图probe和gallery，以及基于OU-ISIR MVLP数据集获取属于同一行人的正样本能量图positive和不属于同一行人的负样本能量图negative；/n基于所述能量图probe和gallery，搭建改进的步态验证暹罗网络，并通过所述改进的步态验证暹罗网络得到L2

【技术特征摘要】
1.一种基于暹罗网络的多输入跨视角步态识别方法，其特征在于，所述方法包括：
基于行人步态数据集，通过计算行人步态周期获取能量图probe和gallery，以及基于OU-ISIRMVLP数据集获取属于同一行人的正样本能量图positive和不属于同一行人的负样本能量图negative；
基于所述能量图probe和gallery，搭建改进的步态验证暹罗网络，并通过所述改进的步态验证暹罗网络得到L21和L22，以及基于所述能量图probe、所述正样本能量图positive和负样本能量图negative，搭建改进的步态识别暹罗网络，并通过所述改进的步态识别暹罗网络得到L23、L24、L25和L26；
通过所述L21和L22计算得出对比损失函数，并训练步态验证暹罗网络的卷积网络参数，使得所述对比损失函数达到最低，以及通过所述L23、L24、L25和L26计算得出三重对比损失函数，并训练步态识别暹罗网络的卷积网络参数，使得所述三重对比损失函数达到最低；
当所述对比损失函数和所述三重对比损失函数达到最低时，对其他行人重复进行搭建改进的步态验证暹罗网络和步态识别暹罗网络、计算得出对比损失函数和三重对比损失函数、训练步态验证暹罗网络的卷积网络参数和步态识别暹罗网络的卷积网络参数来进行跨视角验证和识别；
对所述验证和识别的效果进行评估。


2.根据权利要求1所述的一种基于暹罗网络的多输入跨视角步态识别方法，其特征在于，所述行人步态数据集需对每个行人进行轮廓提取，进行二值化处理；
通过所述二值化处理，在同一视角下，得到由二值轮廓序列构成的二值轮廓图，每个所述二值轮廓图的长度和宽度随后被调整至相同的长度和宽度的固定值；
通过所述二值轮廓图中的二值轮廓的宽高比变化周期，得到与二值轮廓图对应的行人在与二值轮廓图对应的特定视角下的步态周期；
通过分析所述步态周期后，对在相同周期下的所有二值轮廓图求均值得到平均轮廓图像，所述平均轮廓图像包括能量图probe和gallery。


3.根据权利要求1所述的一种基于暹罗网络的多输入跨视角步态识别方法，其特征在于，所述步态验证暹罗网络包括第一验证模块和第二验证模块，其中，所述第一验证模块包括2个平行卷积网络，所述第二验证模块包括1个平行卷积网络；
所述第一验证模块和所述第二验证模块的每个平行卷积网络均共享卷积网络参数，并均由5个卷积层、2个池化层和1个全连接层构成。


4.根据权利要求1所述的一种基于暹罗网络的多输入跨视角步态识别方法，其特征在于，所述步态识别暹罗网络包括第一识别模块和第二识别模块，其中，所述第一识别模块包括3个并行卷积网络，所述第二识别模块包括2个并行卷积网络；
所述第一识别模块和所述第二识别模块的每个并行卷积网络均共享卷积网络参数，并均由5个卷积层、2个池化层和1个全连接层构成。


5.根据权利要求1所述的一种基于暹罗网络的多输入跨视角步态识别方法，其特征在于，所述基于所述能量图probe和gallery，搭建改进的步态验证暹罗网络，并通过所述改进的步态验证暹罗网络得到L21和L22包括：
将所述能量图probe和gallery分别输入至所述第一验证模块的2个平行卷积网络中，所述第一验证模块输出所述能量图probe和gallery的GIEs的特征向量的欧式距离平方L21；
将所述能量图probe和gallery处理为单张能量图并输入至所述第二验证模块，所述第二验证模块输出为所述能量图probe和gallery的差的GIEs的特征向量的长度平方L22。


6.根据权利要求1所述的一种基于暹罗网络的多输入跨视角步态识别方法，其特征在于，所述基于所述能量图probe、所述正样本能量图positive和负样本能量图negative，搭建改进的步态识别暹罗网络，并通过所述改进的步态识别暹罗网络得到L23、L24、L25和L26包括：
将所述能量图probe、正样本能量图positive和负样本能量图negati...

【专利技术属性】
技术研发人员：雷欢，陈再励，马敬奇，杨锦，吴亮生，何峰，卢杏坚，钟震宇，
申请(专利权)人：广东省智能制造研究所，
类型：发明
国别省市：广东;44