一种基于多模态多时间尺度的步态识别方法技术

本发明专利技术涉及一种基于多模态多时间尺度的步态识别方法，采用结合行人轮廓图和行人姿态热图能够有效降低行人换装对步态识别的影响；同时采用自注意网络提取所有帧局部步态特征块序列之间同一序列位置的多时间尺度的局部特征特征块，充分挖掘行走序列所有帧之间步态特征的依赖关系，进而提升步态识别的准确率。进而提升步态识别的准确率。进而提升步态识别的准确率。

【技术实现步骤摘要】
一种基于多模态多时间尺度的步态识别方法


[0001]本专利技术涉及步态识别
，具体而言，涉及一种基于多模态多时间尺度的步态识别方法。

技术介绍

[0002]步态识别是一种基于人行走模式的人体识别技术。与其他使用指纹、虹膜和面部等生物特征识别技术的人类识别方法相比，步态识别具有容易获取、不易造假和适合远距离行人识别等优点。它是生物特征识别和计算机视觉领域的研究热点，在公共安全、犯罪侦查等领域具有广泛的应用前景。与大部分行人识别的不同，步态识别采用行人轮廓图而非RGB图像识别行人，这有以下两点好处：1.轮廓图不包含行人人脸信息，能够有效地保护行人隐私。2.轮廓图不包含行人服装的颜色及纹理，迫使模型关注行人步态生物特征，使得行人识别模型具有更强的鲁棒性。
[0003]然而，目前基于轮廓序列的步态识别方法在行人换装的场景下，识别准确率会大大下降；以GaitSet(Chao,Hanqing,et al."Gaitset:Regarding gait as a set for cross
‑
view gait recognition."Proceedings ofthe AAAI conference on artificial intelligence.Vol.33.No.01.2019.)为例，在正常场景下模型的识别准确率为95.0％，而在换装场景下模型的识别准确率为70.4％，降低了近25％。这是由于行人如果更换服装种类，如从T恤换成大衣，行人的轮廓图依然会受到影响，发生剧烈变化，导致识别精度降低。并且，在步态识别中，时间建模是关键，而目前主流的步态识别方法没有充分挖掘步态序列的时间信息。因此这些方法提取的步态特征判别性较差，导致识别准确率较低。

技术实现思路

[0004]本专利技术解决的问题是如何降低行人换装对步态特征识别的影响，提高识别准确率。
[0005]为解决上述问题，本专利技术提供一种基于多模态多时间尺度的步态识别方法，其特征在于，包括如下步骤：
[0006]步骤1、采集步态数据集，所述步态数据集包括若干个行人行走序列的RGB图像；
[0007]步骤2、依次从每帧RGB图像中获取行人轮廓图和行人姿态热图并裁剪生成相应的轮廓图序列和姿态热图序列；
[0008]步骤3、构建多模态步态识别模型，所述多模态步态识别模型包括用于从轮廓图序列和姿态热图序列中提取轮廓特征图序列和姿态特征图序列的特征提取模块、用于将轮廓特征图序列和姿态特征图序列拼接生成全局步态特征图序列的特征融合模块、用于对每帧全局步态特征图进行水平切分、池化得到局部步态特征块序列的水平池化模块以及通过自注意力网络将所有帧局部步态特征块序列之间同一序列位置的局部特征块建立多时间尺度依赖关系并输出局部步态特征序列的时间建模模块；
[0009]步骤4、采集训练样本输入到所述多模态步态识别模型，并利用损失函数训练所述
多模态步态识别模型，使得所述多模态步态识别模型得到鲁棒的局部步态特征；
[0010]步骤5、测试所述多模态步骤识别模型。
[0011]本专利技术的有益效果是：本申请采用结合行人轮廓图和行人姿态热图能够有效降低行人换装对步态识别的影响；同时采用自注意网络提取所有帧局部步态特征块序列之间同一序列位置的多时间尺度的局部特征特征块，充分挖掘行走序列所有帧之间步态特征的依赖关系，进而提升步态识别的准确率。
[0012]作为优选，所述步骤2中采用背景差分法从每帧RGB图像中获取行人轮廓图，采用人体姿态估计模型CPM从每帧RGB图像中获取行人姿态热图；所述步骤2中裁剪行人轮廓图和行人姿态热图时将行人处于图像正中的位置，裁剪处宽度为W，高度为H的行人轮廓图和行人姿态热图，组成轮廓图序列和姿态热图序列，从而避免行人换装的颜色和纹理对步态识别产生影响。
[0013]作为优选，所述特征提取模块包括：轮廓特征提取器和姿态特征提取器，所述轮廓特征提取器、姿态特征提取器均包括依次连接的第一卷积块、第二卷积块、第一Focal_4卷积块、第二Focal_4卷积块、第一Focal_8卷积块、第二Focal_8卷积块，所述第一卷积块包括第一基本2D卷积层；所述第二卷积块包括第二基本2D卷积层和第一最大池化层；所述第一Focal_4卷积块包括第一Focal_4卷积层；所述第二Focal_4卷积块包括第二Focal_4卷积层和第二最大池化层；所述第一Focal_8卷积块包括第一Focal_8卷积层；所述第二Focal_8卷积块包括第二Focal_8卷积层；
[0014]所述时间建模模块包括若干个自注意力网络，所述自注意力网络的数量与全局步态特征图水平切分的数量相等；所述自注意力网络包含第一多头注意力层、第二多头注意力层和时间池化层，所述第一多头注意力层和第二多头注意力层均包括Q全连接层、K全连接层、V全连接层和前馈网络全连接层。
[0015]作为优选，所述步骤4训练多模态步态识别模型具体包括：
[0016]步骤401、采集训练样本，将训练样本随机分成K个样本组，每个样本组包括P
b
个行人，每个行人包含K
b
个行走序列，其中，同一个人的K
b
个行走序列互为正样本；不通过人之间的行走序列互为负样本；
[0017]步骤402、将样本组Q输入到多模态步态识别模型中，Q∈[1...K],多模态步态识别模型输出多个行人的多个局部步态特征序列；
[0018]步骤403、计算局部步态特征序列之间对应序列位置的局部步态特征的欧式距离；
[0019]步骤404、采用损失函数计算样本组中每个样本的损失值：
[0020]Loss＝ReLU(ξ+D
α,β
‑
D
α,γ
)
[0021]式中，D
α,β
为特征与正样本局部步态特征之间的欧式距离，D
α,γ
为特征与负样本局部步态特征之间的欧式距离，ξ为超参数，含义是欧式距离之间的边缘；
[0022]步骤405、根据计算得到的损失值，判断Loss是否收敛不变，若是，则训练结束；若否，采用反向传播算法更新多模态步态识别模型中模块的参数，以减小损失，且Q＝Q+1，Q∈[1...K]，返回步骤402。
[0023]作为优选，所述步骤5中测试所述多模态步态识别模型具体包括：
[0024]步骤501、从步态数据集中任意获取行人行走序列，并获取对应的轮廓图序列和姿态热图序列，并将轮廓图序列和姿态热图序列输入到多模态步态识别模型中，输出相应的
局部步态特征序列；
[0025]步骤502、计算输出的局部步态特征序列与步态数据集中所有局部步态特征序列之间对应序列位置的局部步态特征之间的欧式距离，并对欧式距离从小到大进行排序；
[0026]步骤503、若步态数据集中对应欧式距离最小的行人序列与输入的行人序列为同一人，则识别成功；否则，识别失败。
附图说明
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态多时间尺度的步态识别方法，其特征在于，包括如下步骤：步骤1、采集步态数据集，所述步态数据集包括若干个行人行走序列的RGB图像；步骤2、依次从每帧RGB图像中获取行人轮廓图和行人姿态热图并裁剪生成相应的轮廓图序列和姿态热图序列；步骤3、构建多模态步态识别模型，所述多模态步态识别模型包括用于从轮廓图序列和姿态热图序列中提取轮廓特征图序列和姿态特征图序列的特征提取模块、用于将轮廓特征图序列和姿态特征图序列拼接生成全局步态特征图序列的特征融合模块、用于对每帧全局步态特征图进行水平切分、池化得到局部步态特征块序列的水平池化模块以及通过自注意力网络将所有帧局部步态特征块序列之间同一序列位置的局部特征块建立多时间尺度依赖关系并输出局部步态特征序列的时间建模模块；步骤4、采集训练样本输入到所述多模态步态识别模型，并利用损失函数训练所述多模态步态识别模型，使得所述多模态步态识别模型得到鲁棒的局部步态特征；步骤5、测试所述多模态步骤识别模型。2.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法，其特征在于，所述步骤2中采用背景差分法从每帧RGB图像中获取行人轮廓图，采用人体姿态估计模型CPM从每帧RGB图像中获取行人姿态热图；所述步骤2中裁剪行人轮廓图和行人姿态热图时将行人处于图像正中的位置，裁剪处宽度为W，高度为H的行人轮廓图和行人姿态热图，组成轮廓图序列和姿态热图序列。3.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法，其特征在于，所述特征提取模块包括：轮廓特征提取器和姿态特征提取器，所述轮廓特征提取器、姿态特征提取器均包括依次连接的第一卷积块、第二卷积块、第一Focal_4卷积块、第二Focal_4卷积块、第一Focal_8卷积块、第二Focal_8卷积块，所述第一卷积块包括第一基本2D卷积层；所述第二卷积块包括第二基本2D卷积层和第一最大池化层；所述第一Focal_4卷积块包括第一Focal_4卷积层；所述第二Focal_4卷积块包括第二Focal_4卷积层和第二最大池化层；所述第一Focal_8卷积块包括第一Focal_8卷积层；所述第二Focal_8卷积块包括第二Focal_8卷积层；所述时间建模模块包括若干个自注意力网络，所述自注意力网络的数量与全局步态...

【专利技术属性】
技术研发人员：李国栋，郭立君，张荣，钱江波，
申请(专利权)人：宁波大学，
类型：发明
国别省市：