一种基于步态关系网络的步态识别方法技术

本发明专利技术公开了一种基于步态关系网络的步态识别方法，通过构建步态关系网络，步态关系网络包括1个空间特征提取网络、16个时间特征提取网络和16个空间特征选择模块；空间特征提取网络包括1个全局编码网络、1个图像切割网络、4个局部编码网络、1个融合编码网络和1个空间特征切割网络，在采用步态关系网络来获取行人的步态特征图时，能充分利用各种步态条件的步态图像数据，增加识别精度，对待识别步态图像序列中的步态图像的数量，顺序无要求；优点是在步态数据缺失的情况下，识别精度仍然较高，鲁棒性强，具有优异的性能。具有优异的性能。

【技术实现步骤摘要】
一种基于步态关系网络的步态识别方法


[0001]本专利技术涉及一种步态识别方法，尤其是涉及一种基于步态关系网络的步态识别方 法。

技术介绍

[0002]步态识别技术是利用步态信息对人的身份进行识别的技术。与指纹、虹膜、人脸等 生物特征识别方法相比，基于视频的步态识别方法具有采集容易、距离远、非接触、难 以伪装和无需配合等优点。作为新一代生物特征识别技术，步态识别技术近些年受到了 广大专家学者越来越多的关注。随着计算机视觉和人工智能技术的快速发展，结合步态 识别技术的公共安防系统和智能视频分析系统，在保障社会公共安全、提高智慧城市的 科学化管理水平等方面存在广泛的技术需求，其发展也受到工业界的密切关注。
[0003]真实监控场景存在复杂多变的条件，对于步态特征的提取来说极具挑战性。步态识 别是对行人的步态序列进行识别，而步态序列由一系列的步态图像组成，步态序列的完 整性影响步态识别的准确性，把步态序列中缺失数据的情况称为步态的数据缺失，例如 步态图像是乱序的(即缺失序列内的时间信息)和步态图像数量非常少的。数据缺失是 步态识别在实际应用场本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于步态关系网络的步态识别方法，其特征在于包括以下步骤：步骤1：从生物识别与安全技术研究中心(Center for Biometrics and Security Research,简称CBSR)的步态数据集CASIA
‑
B中获取一个步态数据集，该步态数据集包含124个行人身份在3个步行条件和11个视角下的步态图像，其中，124个行人身份采用数字001
‑
124进行标记，3个步行条件为正常行走、背包行走和穿着外套或夹克行走，11个视角为0
°
、18
°
、36
°
、54
°
、72
°
、90
°
、108
°
、126
°
、144
°
、162
°
以及180
°
，该步态数据集中，每个行人身份下具有正常行走条件下的6个序列集、背包行走条件下的2个序列集以及着外套或夹克行走条件下的2个序列集，每个序列集中分别包括了11个步态图像序列，11个步态图像序列分别在11个视角下拍摄，11个视角与11个步态图像序列一一对应，每个步态图像序列分别由若干张步态图像构成；步骤2、通过文献【Noriko Takemura,Yasushi Makihara,Daigo Muramatsu,Tomio Echigo,and Yasushi Yagi.Multi
‑
view large popu
‑
lation gait dataset and its performance evaluation for cross
‑
view gait recognition.IPSJ Transactions on Computer Visionand Applications,10,12 2018.1,2,6,7,8】提出的Takemura方法对步态数据集中的每张步态图像分别进行处理，使每张步态图像高度为H且宽度为W，其中，H＝64,W＝44，此时得到训练数据集；步骤3：构建步态关系网络，所述的步态关系网络包括1个空间特征提取网络、16个时间特征提取网络和16个空间特征选择模块；所述的空间特征提取网络包括1个全局编码网络、1个图像切割网络、4个局部编码网络、1个融合编码网络和1个空间特征切割网络；所述的全局编码网络包括1个输入层、4个卷积层、1个最大池化层和2个输出层，所述的全局编码网络的第1个卷积层采用大小为5
×
5、补零参数的值为2、步长为1的32个卷积核实现，所述的全局编码网络的第2个卷积层采用大小为3
×
3、补零参数的值为1、步长为1的32个卷积核实现，所述的全局编码网络的第3个卷积层采用大小为3
×
3、补零参数的值为1、步长为1的64个卷积核实现，所述的全局编码网络的第4个卷积层采用大小为3
×
3、补零参数的值为1、步长为1的64个卷积核实现，所述的全局编码网络的最大池化层的步长设置为2；所述的图像切割网络包括1个输入层、1个切割层和4个输出层，每个所述的局部编码网络分别包括1个输入层、4个卷积层、1个最大池化层和2个输出层，每个所述的局部编码网络的第1个卷积层分别采用大小为5
×
5、补零参数的值为2、步长为1的32个卷积核实现，每个所述的局部编码网络的第2个卷积层分别采用大小为3
×
3、补零参数的值为1、步长为1的32个卷积核实现，每个所述的局部编码网络的第3个卷积层分别采用大小为3
×
3、补零参数的值为1、步长为1的64个卷积核实现，每个所述的局部编码网络的第4个卷积层分别采用大小为3
×
3、补零参数的值为1、步长为1的64个卷积核实现，每个所述的局部编码网络的最大池化层的步长分别设置为2；所述的融合编码网络包括10个输入层、2个特征拼接层、3个特征融合层、2个卷积层、1个最大池化层和1个输出层，所述的融合编码网络的第1个卷积层采用大小为3
×
3、补零参数的值为1、步长为1的128个卷积核实现，所述的融合编码网络的第2个卷积层采用大小为3
×
3、补零参数的值为1、步长为1的128个卷积核实现，所述的融合编码网络的最大池化层的步长设置为2；所述的空间特征切割网络包括1个输入层、1个切割层、1个池化层和1个输出层；每个所述的时间特征提取网络分别包括1个输入层、3个映射层、1个时间特征选择层、1个独立映射层和1个输出层，所述的时间特征提取网络的3个映射层和独立映射层分
别为一个输入通道数为128，输出通道数为128的全连接层，所述的时间特征提取网络的时间特征选择层采用max函数实现；每个所述的空间特征选择网络分别包括1个输入层、1个特征选择层、1个独立映射层和1个输出层，每个所述的空间特征选择网络的独立映射层分别为一个输入通道数为128，输出通道数为128的全连接层；在对所述的步态关系网络进行训练时，所述的全局编码网络的输入层接入维度为30
×1×
64
×
44的步态图像序列，其中，维度表示形式为图像数量
×
通道数
×
图像长度
×
图像宽度，所述的全局编码网络的第1个卷积层接入所述的全局编码网络的输入层输出的维度为30
×1×
64
×
44的步态图像序列，并进行特征提取，得到维度为30
×
32
×
64
×
44的特征图F
global_1
输出，所述的全局编码网络的第2个卷积层接入所述的全局编码网络的第1个卷积层输出的特征图F
global_1
，并进行特征提取，得到维度为32
×
64
×
44的特征图F
global_2
输出，所述的全局编码网络的最大池化层接入所述的全局编码网络的第2个卷积层输出的特征图F
global_2
，并进行特征提取，得到维度为30
×
32
×
32
×
22的特征图F
global_pool
输出，所述的全局编码网络的第3个卷积层接入所述的全局编码网络的最大池化层输出的特征图F
global_pool
，并进行特征提取，得到维度为30
×
64
×
32
×
22的特征图F
global_3
输出，所述的全局编码网络的第4个卷积层接入所述的全局编码网络的第3个卷积层输出的特征图F
global_3
，并进行特征提取，得到维度为30
×
64
×
32
×
22的特征图F
global_4
输出，所述的全局编码网络的第1个输出层接入所述的全局编码网络的最大池化层输出的特征图F
global_pool
并输出，所述的全局编码网络的第2个输出层接入所述的全局编码网络的第4个卷积层输出的特征图F
global_4
并输出；所述的图像切割网络的输入层接入维度为30
×1×
64
×
44的步态图像序列并输出，所述的图像切割网络的切割层接入所述的图像切割网络的输入层输出的维度为30
×1×
64
×
44的步态图像序列，并将该步态图像序列按长度和宽度的中点进行切割，得到4个维度分别为30
×1×
32
×
22的步态图像子序列输出，所述的图像切割网络的4个输出层一一对应接入所述的图像切割网络的切割层输出的4个维度为30
×1×
32
×
22的步态图像子序列并输出；4个局部编码网络一一对应接入所述的图像切割网络的4个输出层输出的4个维度为30
×1×
32
×
22的步态图像子序列，第N个所述的局部编码网络的输入层接入所述的图像切割网络的第N个输出层输出的维度为30
×1×
32
×
22的步态图像子序列并输出，N＝1，2，3，4，第N个所述的局部编码网络的第1个卷积层接入第N个所述的局部编码网络的输入层输出的维度为30
×1×
32
×
22的步态图像子序列，并进行特征提取，得到维度为30
×
32
×
32
×
22的特征图输出，第N个所述的局部编码网络的第2个卷积层接入第N个所述的局部编码网络的第1个卷积层输出的特征图，并进行特征提取，得到维度为30
×
32
×
32
×
22的特征图输出，第N个所述的局部编码网络的最大池化层接入第N个所述的局部编码网络的第2个卷积层输出的特征图，并进行特征提取，得到维度为30
×
32
×
16
×
11的特征图输出，第N个所述的局部编码网络的第3个卷积层接入第N个所述的局部编码网络的最大池化层输出的特征图，并进行特征提取，得到维度为30
×
64
×
16
×
11的特征图输出，第N个所述的局部编码网络的第4个卷积层接入第N个所述的局部编码网络的第3个卷积层输出的特征图，并进行特征提取，得到维度为30
×
64
×
16
×
11的特征图输出，第N个所述的局部编码网络的第1个输出层用于接入第N个所述的局部编码网络的最大池化层输出的特征图，并将该特征图输出，第N个所述的局部编码网络的第2个输出层用于接入第N个所述的局部编码网络的第4个卷积层输出的特征图，并将该特征图输出；在4个局部编码网络中，将第1个局部编码网络
的第1个输出层输出的特征图和第2个输出层输出的特征图分别记为F
local_pool,1
和F
local_4,1
，将第2个局部编码网络的第1个输出层输出的特征图和第2个输出层输出的特征图分别记为F
local_pool,2
和F
local_4,2
，将第3个局部编码网络的第1个输出层输出的特征图和第2个输出层输出的特征图分别记为F
local_pool,3
和F
local_4,3
，将第4个局部编码网络的第1个输出层输出的特征图和第2个输出层输出的特征图分别记为F
local_pool,4
和F
local_4,4
；所述的融合编码网络的10个输入层一一对应接入所述的全局编码网络的第1个输出层输出的特征图F
global_pool
、所述的全局编码网络的第2个输出层输出的特征图F
gl...

【专利技术属性】
技术研发人员：张超越，张荣，郭立君，
申请(专利权)人：宁波大学，
类型：发明
国别省市：