一种基于多模态多时间尺度的步态识别方法技术

本发明专利技术涉及一种基于多模态多时间尺度的步态识别方法，采用结合行人轮廓图和行人姿态热图能够有效降低行人换装对步态识别的影响；同时采用自注意网络提取所有帧局部步态特征块序列之间同一序列位置的多时间尺度的局部特征特征块，充分挖掘行走序列所有帧之间步态特征的依赖关系，进而提升步态识别的准确率。进而提升步态识别的准确率。进而提升步态识别的准确率。

【技术实现步骤摘要】
一种基于多模态多时间尺度的步态识别方法


[0001]本专利技术涉及步态识别
，具体而言，涉及一种基于多模态多时间尺度的步态识别方法。

技术介绍

[0002]步态识别是一种基于人行走模式的人体识别技术。与其他使用指纹、虹膜和面部等生物特征识别技术的人类识别方法相比，步态识别具有容易获取、不易造假和适合远距离行人识别等优点。它是生物特征识别和计算机视觉领域的研究热点，在公共安全、犯罪侦查等领域具有广泛的应用前景。与大部分行人识别的不同，步态识别采用行人轮廓图而非RGB图像识别行人，这有以下两点好处：1.轮廓图不包含行人人脸信息，能够有效地保护行人隐私。2.轮廓图不包含行人服装的颜色及纹理，迫使模型关注行人步态生物特征，使得行人识别模型具有更强的鲁棒性。
[0003]然而，目前基于轮廓序列的步态识别方法在行人换装的场景下，识别准确率会大大下降；以GaitSet(Chao,Hanqing,et al."Gaitset:Regarding gait as a set for cross
‑
view gait recogni本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态多时间尺度的步态识别方法，其特征在于，包括如下步骤：步骤1、采集步态数据集，所述步态数据集包括若干个行人行走序列的RGB图像；步骤2、依次从每帧RGB图像中获取行人轮廓图和行人姿态热图并裁剪生成相应的轮廓图序列和姿态热图序列；步骤3、构建多模态步态识别模型，所述多模态步态识别模型包括用于从轮廓图序列和姿态热图序列中提取轮廓特征图序列和姿态特征图序列的特征提取模块、用于将轮廓特征图序列和姿态特征图序列拼接生成全局步态特征图序列的特征融合模块、用于对每帧全局步态特征图进行水平切分、池化得到局部步态特征块序列的水平池化模块以及通过自注意力网络将所有帧局部步态特征块序列之间同一序列位置的局部特征块建立多时间尺度依赖关系并输出局部步态特征序列的时间建模模块；步骤4、采集训练样本输入到所述多模态步态识别模型，并利用损失函数训练所述多模态步态识别模型，使得所述多模态步态识别模型得到鲁棒的局部步态特征；步骤5、测试所述多模态步骤识别模型。2.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法，其特征在于，所述步骤2中采用背景差分法从每帧RGB图像中获取行人轮廓图，采用人体姿态估计模型CPM从每帧RGB图像中获取行人姿态热图；所述步骤2中裁剪行人轮廓图和行人姿态热图时将行人处于图像正中的位置，裁剪处宽度为W，高度为H的行人轮廓图和行人姿态热图，组成轮廓图序列和姿态热图序列。3.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法，其特征在于，所述特征提取模块包括：轮廓特征提取器和姿态特征提取器，所述轮廓特征提取器、姿态特征提取器均包括依次连接的第一卷积块、第二卷积块、第一Focal_4卷积块、第二Focal_4卷积块、第一Focal_8卷积块、第二Focal_8卷积块，所述第一卷积块包括第一基本2D卷积层；所述第二卷积块包括第二基本2D卷积层和第一最大池化层；所述第一Focal_4卷积块包括第一Focal_4卷积层；所述第二Focal_4卷积块包括第二Focal_4卷积层和第二最大池化层；所述第一Focal_8卷积块包括第一Focal_8卷积层；所述第二Focal_8卷积块包括第二Focal_8卷积层；所述时间建模模块包括若干个自注意力网络，所述自注意力网络的数量与全局步态...

【专利技术属性】
技术研发人员：李国栋，郭立君，张荣，钱江波，
申请(专利权)人：宁波大学，
类型：发明
国别省市：