一种分视角步态识别方法技术

本发明专利技术涉及一种分视角步态识别方法，包括下列步骤：人体关节点数据提取及预处理；构建人体步态视角分类网络：应用图卷积网络和时域卷积网络组合成时空图卷积单元，在每个时空图卷积单元中交替应用图卷积和时域卷积分别学习步态样本的空间特征和时间特征，通过两个时空图卷积单元提取步态样本的相关特征，通过softmax层得到其属于不同视角的概率；构建用于步态识别的相关步态特征的多流时空图卷积网络；分视角步态识别。分视角步态识别。分视角步态识别。

【技术实现步骤摘要】
一种分视角步态识别方法


[0001]本专利技术属于计算机视觉领域中的生物特征识别技术，具体是一种基于图卷积神经网络的分视角步态识别方法。

技术介绍

[0002]近年来，生物特征识别技术因其愈加广泛的适用性而受到了众多研究者的青睐和研究。其中，常见的指纹识别、虹膜识别、人脸识别、以及声纹识别等生物特征识别技术已经在移动支付、公司考勤以及火车票检验等众多领域得以大量的使用并且取得了良好的反响。这些生物特征识别技术在身份识别领域的广泛使用极大地提高了人机交互的便捷性和安全性，对促进人机交互的进一步发展作用巨大。然而这些生物特征识别技术都具有一定的局限性，比如人脸识别一般需要较为清晰的人脸图片才能进行身份识别，而且对于人脸的一些关键部位还不允许遮挡；而指纹识别和虹膜识别又极度依赖于受试者的配合；同时声纹识别也是需要提前获取受试者的声音信息并且对环境的要求较高。这些限制为生物特征识别技术在一些诸如公共安全等领域的使用带来了巨大的挑战和困难。
[0003]而步态识别
[1
–
3]作为一种新兴的生物特征识别技术，其通过分析人体在行走过程中的步态特征来实现身份识别。步态是指人体在行走时的姿势，是一种复杂的人体行为特征，其受到不同个体的体型、体重、身高、年龄、性别、肌肉力量、协调能力、肌肉以及骨骼的健康程度等因素共同影响，因此对于个体来说，其步态特征具有唯一性，很难被别人伪装或者模仿。而基于步态特征的步态识别技术在人员查找、刑事侦查以及医学研究等领域都有着巨大的研究意义和应用前景。
[0004]目前，步态识别的研究方法根据其特征表示方法的不同可分为两类：其中一类为基于外观(appearance
‑
based)的方法
[4,5]，其通常是从类似步态轮廓图的外观图像中进行特征提取；另一类为基于模型(model
‑
based)的方法
[6,7]，其主要是通过对人体结构进行建模来表示步态特征。其中基于外观的步态识别方法已经取得了很好的识别效果，但是其通常难以应对遮挡、视角变化、服装变化和携带变化等因素的影响。而本专利技术主要是在基于模型的步态识别方法上提出了分视角的特征提取方法。
[0005]相关文献：
[0006][1]Alharthi A S,Yunas S U,Ozanyan K B.Deep Learning for Monitoring of Human Gait:A Review[J].IEEE Sensors Journal,2019,19(21):9575
‑
9591.
[0007][2]Sepas
‑
Moghaddam A,Etemad A.Deep Gait Recognition:A Survey[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2023,45(1):264
‑
284.
[0008][3]Shen C,Yu S,Wang J,et al.A Comprehensive Survey on Deep Gait Recognition:Algorithms,Datasets and Challenges[M].arXiv,2022.
[0009][4]Han J,Bhanu B.Individual recognition using gait energy image[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(2):316
‑
322.
[0010][5]Fan C,Peng Y,Cao C,et al.GaitPart:Temporal Part
‑
Based Model for Gait Recognition[C]//2020IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).2020:14213
‑
14221.
[0011][6]Li N,Zhao X,Ma C.JointsGait:A model
‑
based Gait Recognition Method based on Gait Graph Convolutional Networks and Joints Relationship Pyramid Mapping[M].arXiv,2020.
[0012][7]Teepe T,Khan A,Gilg J,et al.Gaitgraph:Graph Convolutional Network for Skeleton
‑
Based Gait Recognition[C]//2021IEEE International Conference on Image Processing(ICIP).2021:2314
‑
2318.
[0013][8]Xu Y,Zhang J,Zhang Q,et al.ViTPose:Simple Vision Transformer Baselines for Human Pose Estimation[M].arXiv,2022.
[0014][9]Yan S,Xiong Y,Lin D.Spatial Temporal Graph Convolutional Networks for Skeleton
‑
Based Action Recognition[M].arXiv,2018.

技术实现思路

[0015]本专利技术的主要目的是采用分视角识别的方法提高步态识别的准确率和效率。本专利技术步骤为：
[0016]一种分视角步态识别方法，包括下列步骤：
[0017]步骤一，人体关节点数据提取及预处理：
[0018](1)采用人体姿势估计模型从原始步态视频中初步提取人体步态关节点和骨架数据；
[0019](2)根据初步提取的人体步态关节点的横纵坐标数据构造时空人体骨架关节图；
[0020]步骤二，构建人体步态视角分类网络：应用图卷积网络和时域卷积网络组合成时空图卷积单元，在每个时空图卷积单元中交替应用图卷积和时域卷积分别学习步态样本的空间特征和时间特征，通过两个时空图卷积单元提取步态样本的相关特征，通过softmax层得到其属于不同视角的概率；
[0021]步骤三，构建用于步态识别的相关步态特征的多流时空图卷积网络，方法如下：
[0022](1)定义多流网络中的四个数据流，包括关节点、骨骼向量、相邻帧位移数据和相邻半周期帧位移数据：
[0023]关节点即从原始步态视频中初步提取的所述人体步态关节；
[0024]骨本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分视角步态识别方法，包括下列步骤：步骤一，人体关节点数据提取及预处理：(1)采用人体姿势估计模型从原始步态视频中初步提取人体步态关节点和骨架数据；(2)根据初步提取的人体步态关节点的横纵坐标数据构造时空人体骨架关节图；步骤二，构建人体步态视角分类网络：应用图卷积网络和时域卷积网络组合成时空图卷积单元，在每个时空图卷积单元中交替应用图卷积和时域卷积分别学习步态样本的空间特征和时间特征，通过两个时空图卷积单元提取步态样本的相关特征，通过softmax层得到其属于不同视角的概率；步骤三，构建用于步态识别的相关步态特征的多流时空图卷积网络，方法如下：(1)定义多流网络中的四个数据流，包括关节点、骨骼向量、相邻帧位移数据和相邻半周期帧位移数据：关节点即从原始步态视频中初步提取的所述人体步态关节；骨骼向量是从源关节点指向目标关节点的向量，是指在人体自然连接中两个关节点之间的相对坐标，描述了对应骨骼的长度和方向信息；相邻帧位移数据，指同一关节点在相邻帧之间沿着时间维度的差异，用前一帧关节点位置指向后一帧关节点位置来表示，其描述了相邻帧之间关节点的运动方向和长度信息；相邻半周期帧位移数据即相邻半周期帧之间的位移数据，指同一关节点在相邻半周期帧之间沿着时间维度的差异，用当前帧关节点位置指向相邻半周期帧关节点位置来表示；(2)构建基本时空卷积网络：通过三个时空图卷积块以及全局平均池化层、全连接层和softmax层提取时空人体骨架序列中的时空特征，其中，每个时空卷积块都包含两个分支，一个分支交替应用图卷积和时域卷积分别学习空间特征和时间特征，用于获取长期时空依赖关系；另一个分支应用不同的滑动窗口和G3D模块学习复杂的跨时空特征，用于捕获区域时空依赖关系，两部分分支的输出聚集起来作为时空卷积块的最终输出；(3)构建多流时空图卷积网络基于基本时空卷积网络，使用关节流、骨骼流、位移流和半周期位移流来分别表示输入为关节点坐标、骨骼向量、相邻帧位移数据和相邻半周期帧位移数...

【专利技术属性】
技术研发人员：陈锦言，张永辉，刘宇昕，田丁筱菲，高喆妍，
申请(专利权)人：天津大学，
类型：发明
国别省市：