基于集合的跨视角步态识别方法技术

本发明专利技术属于计算机视觉和机器学习技术领域，具体为一种基于集合的跨视角步态识别方法。本方法可以使用很少的帧数得到较高的识别结果，并能融合同一个人不同角度、不同衣着配饰的帧从中抽取鲁棒的身份信息。对于一个行人，用其所有视频中的所有帧组成一个集合；将这些帧做预处理，对每帧提出轮廓图并对齐；然后用神经网络对集合中的每一帧分别提取高层语义特征；接着融合每一帧的语义特征得到整个集合的语义特征；最后将集合的语义特征映射进一个具有判别力的空间用于身份识别。相较于基于目前主流的基于模板的步态识别方法和近年发展出的基于视频的步态识别方法，本方法在解决现实问题中使用更加灵活，能充分利用所有信息，并取得最优的识别效果。

Gait Recognition Method of Cross-View Based on Set

The invention belongs to the field of computer vision and machine learning technology, in particular to a set-based Cross-perspective gait recognition method. This method can get a high recognition result by using very few frames, and can extract robust identity information from the same person's frames with different angles and different clothing accessories. For a pedestrian, all the frames in his video are used to form a set; these frames are preprocessed, and contour maps are proposed and aligned for each frame; then high-level semantic features are extracted for each frame in the set by using neural network; then the semantic features of each frame are fused to obtain the semantic features of the whole set; finally, the semantic features of the set are mapped into a discriminant set. Space is used for identification. Compared with the current mainstream template-based gait recognition method and the video-based gait recognition method developed in recent years, this method is more flexible in solving practical problems, can make full use of all information, and achieve the optimal recognition effect.

【技术实现步骤摘要】
基于集合的跨视角步态识别方法
本专利技术属于计算机视觉、机器学习
，具体涉及基于视频的跨视角步态识别方法。
技术介绍
基于视频的跨视角步态识别问题是计算机视觉和机器学习领域研究的问题之一。当给定不同视角下的步态视频帧序列，要求根据计算机视觉或机器学习算法判断步态帧序列的主体是否为同一个对象。目前该领域已经有不少前人工作，根据看待步态信息视角的不同，其主要方法可以分为两大类：基于步态模板图的方法和基于步态视频序列的方法。以下是这三类方法的一些参考文献：[1]Han,J.,andBhanu,B.2006.Individualrecognitionusinggaitenergyimage.IEEETPAMI28(2):316–322.[2]He,Y.；Zhang,J.；Shan,H.；andWang,L.2019.Multi-taskGANsforview-specificfeaturelearningingaitrecognition.IEEETIFS14(1):102–113.[3]Hu,M.；Wang,Y.；Zhang,Z.；Little,J.J.；andHuang,D.201本文档来自技高网...

【技术保护点】
1.一种基于集合的跨视角步态识别方法，其特征在于，模型具体训练步骤为：(1)从整个训练集中随机选取p个人，再从这p个人的训练样本中没人随机选出k个视频序列，组成p×k大小的一批数据；(2)对于一批数据中的每个视频序列，随机抽取n帧，并对每帧提取轮廓图，进行剪裁、对齐等预处理后组成用于输入的集合：

【技术特征摘要】
1.一种基于集合的跨视角步态识别方法，其特征在于，模型具体训练步骤为：(1)从整个训练集中随机选取p个人，再从这p个人的训练样本中没人随机选出k个视频序列，组成p×k大小的一批数据；(2)对于一批数据中的每个视频序列，随机抽取n帧，并对每帧提取轮廓图，进行剪裁、对齐等预处理后组成用于输入的集合：xi代表随机抽取的一帧视频图像预处理之后的轮廓图，表示一个用于训练的轮廓图集合，n是模型超参数；(3)对于集合中的每一帧轮廓图xi，用卷积神经网络提取其高层语义特征图vi；(4)对于特征图集合V＝{v1,v2,v3,…,vn}，用集合池化提取整个集合的特征zl；(5)对于第2步中卷积神经网络不同层得到的特征图，分别用集合池化提取不同层的集合特征并用多级全局流水线融合这些特征得到集合特征zg；(6)对于zl和zg，用水平金字塔映射得到62个不同尺度下的判别特征：f1,f2,f3,…,f62；(7)根据三元损失的定义，使用一批训练样本组成组三元组，共可组成pk(pk-k)(k-1)组；(8)对于每个三元组，用样本对应的fi计算出62个损失L_i′，并对他们求和得到一个三元组的损失(9)对所有非0的三元组损失求平均得到总损失L＝∑L′＞0L′,用总损失训练整个网络。2.根据权利要求1所述的步态识别方法，其特征在于，模型具体测试步骤为：(1)输入一个人的步态帧集合这些帧来源于任意视频，集合包含任意数量的帧；(2)-(5)同训练过程中的步骤(3)-(6)；(6)拼接62个判别特征，得到判别特征F，用F进行身份识别。3.根据权利要求1或2所述的步态识别方法，其特征在于，所述的用于提取图片语义的卷积神经网络共有8层，从输入到输出顺序为卷积层SC_1，卷积层SC_2，池化层SP_1，卷积层SC_3，卷积层SC_4，池化层SP_2，卷积层SC_5，卷积层SC_6。4.根据权利要求3所述的步态识别方法，其特征在于，所述的集合池化的输入为一个4维张量(n×c×h×w)V，这4维为：集合维、特征图通...

【专利技术属性】
技术研发人员：巢汉青，张军平，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31