一种基于双流网络的步态识别方法技术

本公开的基于双流网络的步态识别方法，将采集的行人行走视频按帧分割为RGB图像；输入RGB图像到光流提取模块中提取光流图；基于光流图分割出多张含有行人行走的图片区域，将含有行人行走的图片区域的重心对齐叠加得到步态能量图；将步态能量图输入到步态识别网络中进行步态能量图特征提取和识别，得到基于步态能量图的步态识别结果；将RGB图像输入到步态识别网络中进行二维步态特征提取和识别，输出基于RGB图像的二维步态识别结果；融合基于步态能量图的步态识别结果和基于RGB图像的二维步态识别结果得到双流网络的行人行走步态识别结果。能够自动注重运动部位的特征提取，充分利用步态识别中的时间信息，提高步态识别的精度。

【技术实现步骤摘要】
一种基于双流网络的步态识别方法
本公开属于图像识别
，特别是涉及到一种基于双流网络的步态识别方法。
技术介绍
步态是描述一个人行走模式的一种生理和行为生物特征。步态识别应用于识别个人的行走模式，是最有发展前景的生物特征识别技术之一。与其它生物识别方式相比，比如面部、指纹和虹膜，步态识别可以很容易地捕获和识别目标，不需要目标的合作。因此，步态识别在犯罪调查、门禁系统和社会安全等应用场合具有巨大的潜力。当前的步态识别算法大致分为两类，一类为判别式算法，一类为生成式算法。判别式算法中的基于神经网络的步态能量图方法是目前常用的方法。例如，2016年KoheiShirage等人在《GEINet:View-invariantGaitRecognitionUsingAConvolutionalNeuralNetwork》一文中提出GEINet结构，用步态能量图和类似于图像分类中AlexNet的CNN网络提取步态特征并进行跨视角判别。但是该方法仅有最基本步态能量图与神经网络结合的框架，识别效果欠佳。2017年XianfuZhang等人在《DeepGait:ALearningDeepConvolutionalRepresentationforGaitRecognition》一文中将步态轮廓图通过预训练的深度卷积模型VGG-16得到特征表示，从而进行步态识别。但该方法在跨视角场景及协变量变化时无法有效提取具有判别力的特征。2017年RijunLiao等人在《Pose-basedTemporal-spatialNetwork(PTSN)forGaitRecognitionWithCarryingAndClothingVariations》一文中利用CNN提取步态关键点中的空间信息，利用LSTM提取时间信息。利用姿态关键点进行步态识别可以有效缓解协变量变化对步态识别性能的影响，但未能在跨视角的场景下验证模型的有效性。2020年ChaoFan等人在《GaitPart:TemporalPart-basedModelforGaitRecognition》一文中提出了基于人体部位分割的GaitPart模型，该模型认为人体不同部位在行走过程中具有明显不同的形状和运动模式，因此需要对不同部位分别进行特征提取。该模型精度较高，但并未区分重点运动部位。现有基于神经网络的步态识别方法存在步态时间信息利用不充分，在实际应用中效果受限；对行人整体轮廓作相同程度的特征提取，未对影响步态识别的运动部位做重点提取；尽管如2020年ChaoFan等人提出的GaitPart方法注重了运动部位的特征提取，但其采用人工经验选择运动部位；没有设计单独的提取人体的体型外观等静态二维特征的模块，存在对人体本身的静态二维特征的提取和利用不充分等问题。
技术实现思路
有鉴于此，本公开提出了基于双流网络的步态识别方法，能够自动注重运动部位的特征提取，充分利用步态识别中的时间信息，提高步态识别精度。根据本公开的一方面，提出了一种基于双流网络的步态识别方法，所述方法包括：将采集的行人行走视频按帧顺序分割为连续的RGB图像；输入所述RGB图像到光流提取模块，提取行人行走的光流图；基于所述光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到所述行人行走的步态能量图；将所述步态能量图输入到步态识别网络中进行行人行走的步态能量图特征提取和步态能量图特征识别，得到基于步态能量图的行人行走步态识别结果；将所述RGB图像输入到步态识别网络中进行行人行走的二维步态特征提取和二维步态特征识别，输出基于RGB图像的行人行走二维步态识别结果；融合基于步态能量图的行人行走步态识别结果和基于RGB图像的行人行走二维步态识别结果得到双流网络的行人行走步态识别结果。在一种可能的实现方式中，基于所述光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到所述行人行走的步态能量图，包括：以所述光流图中的行人头顶为中心进行裁剪、分割得到多张含有行人行走的图像区域；以所述含有行人行走的图片区域的行人头顶为中心对一个步态周期内的含有行人行走的图像区域进行叠加合成为行人行走的步态能量图。在一种可能的实现方式中，步态识别网络包括CNN卷积层、全连接层和Softmax层；其中，CNN卷积层，用于提取行人行走步态特征；全连接层，用于对所述行人行走步态特征进行加权整合；Softmax层，用于识别加权整合的行人行走步态特征，并输出所述行人行走步态特征的识别结果的概率。在一种可能的实现方式中，融合基于步态能量图的行人行走步态识别结果和基于RGB图像的行人行走二维步态识别结果得到双流网络的行人行走步态识别结果，包括：将行人基于步态能量图的步态识别结果的概率和基于RGB图像的二维步态识别结果的概率相加后，利用平均值算法计算得到双流网络的行人行走步态识别概率，将步态识别概率最大的行人作为双流网络的行人行走步态识别的结果。本公开的基于双流网络的步态识别方法，将采集的行人行走视频按帧顺序分割为连续的RGB图像；输入RGB图像到光流提取模块，提取行人行走的光流图；基于光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到行人行走的步态能量图；将步态能量图输入到步态识别网络中进行行人行走的步态能量图特征提取和步态能量图特征识别，得到基于步态能量图的行人行走步态识别结果；将RGB图像输入到步态识别网络中进行行人行走的二维步态特征提取和二维步态特征识别，输出基于RGB图像的行人行走二维步态识别结果；融合基于步态能量图的行人行走步态识别结果和基于RGB图像的行人行走二维步态识别结果得到双流网络的行人行走步态识别结果。能够自动注重运动部位的特征提取，充分利用步态识别中的时间信息，提高步态识别的精度。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。图1示出了根据本公开一实施例的基于双流网络的步态识别方法流程图；图2示出了根据本公开另一实施例的基于双流网络的步态识别方法流程图；图3示出了根据本公开一实施例的基于双流网络的步态识别方法的步态能量图支路的步态识别网络结构图；图4示出了根据本公开一实施例的基于双流网络的步态识别方法的二维特征提取支路的步态识别网络结构图。具体实施方式以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好本文档来自技高网...

【技术保护点】
1.一种基于双流网络的步态识别方法，其特征在于，所述方法包括：/n将采集的行人行走视频按帧顺序分割为连续的RGB图像；/n输入所述RGB图像到光流提取模块，提取行人行走的光流图；/n基于所述光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到所述行人行走的步态能量图；/n将所述步态能量图输入到步态识别网络中进行行人行走的步态能量图特征提取和步态能量图特征识别，得到基于步态能量图的行人行走步态识别结果；/n将所述RGB图像输入到步态识别网络中进行行人行走的二维步态特征提取和二维步态特征识别，输出基于RGB图像的行人行走二维步态识别结果；/n融合基于步态能量图的行人行走步态识别结果和基于RGB图像的行人行走二维步态识别结果得到双流网络的行人行走步态识别结果。/n

【技术特征摘要】
1.一种基于双流网络的步态识别方法，其特征在于，所述方法包括：
将采集的行人行走视频按帧顺序分割为连续的RGB图像；
输入所述RGB图像到光流提取模块，提取行人行走的光流图；
基于所述光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到所述行人行走的步态能量图；
将所述步态能量图输入到步态识别网络中进行行人行走的步态能量图特征提取和步态能量图特征识别，得到基于步态能量图的行人行走步态识别结果；
将所述RGB图像输入到步态识别网络中进行行人行走的二维步态特征提取和二维步态特征识别，输出基于RGB图像的行人行走二维步态识别结果；
融合基于步态能量图的行人行走步态识别结果和基于RGB图像的行人行走二维步态识别结果得到双流网络的行人行走步态识别结果。


2.根据权利要求1所述的步态识别方法，其特征在于，基于所述光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到所述行人行走的步态能量图，包括：
以所述光流图中的行...

【专利技术属性】
技术研发人员：侯舒娟，许健，李海，张钦，宋政育，武毅，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11