基于时序剪影补全的多人步态识别方法、介质及设备技术

本发明专利技术提供了一种基于时序剪影补全的多人步态识别方法、介质及设备；其中方法为：获取多行人行走视频序列；对多行人视频序列进行预处理，得到剪影图序列；将剪影图序列输入基于双判别器监督的轻量级时序剪影补全网络，得到补全后的剪影图序列；将补全后的剪影图序列输入到步态特征提取网络，得到多行人步态特征编码；将多行人步态特征编码与注册库人员步态特征进行特征匹配，得到最终的步态识别结果。该方法在步态识别流程中添加剪影图序列补全的步骤，在剪影图序列进行识别前，使用补全方式对受遮挡的剪影图序列进行补全，能够根据剪影图序列前后帧的信息，自动补全由于多人场景形成的遮挡人体部分，提升剪影图序列的质量。提升剪影图序列的质量。提升剪影图序列的质量。

【技术实现步骤摘要】
基于时序剪影补全的多人步态识别方法、介质及设备


[0001]本专利技术涉及生物特征识别
，更具体地说，涉及一种基于时序剪影补全的多人步态识别方法、介质及设备。

技术介绍

[0002]步态识别是一种新兴的生物特征识别技术，步态之所以能够成为生物特征识别技术之一，源自每个人步态的唯一性，从解剖学的角度分析，步态唯一性的物理基础是每个人生理结构的差异性，不一样的腿骨长度、不一样的肌肉强度、不一样的重心高度、不一样的运动神经灵敏度，共同决定了步态的唯一性。步态识别旨在通过人们走路的姿态进行身份识别。
[0003]步态识别作为一种中远距离、无感的识别方法，在安防监控、隐私保护、重点场所进出管理等领域具有广泛的应用前景及实用价值。但目前步态识别在应用时受较多因素的影响，如实际多人步态识别场景下的动态遮挡和静态遮挡、衣着遮挡、携带物遮挡等因素干扰，导致在现实场景的遮挡情况下步态识别精度较低，所以实际多人场景下的步态识别是亟需解决的问题。
[0004]目前主流的多人步态识别方法有：一、基于传感器的方法：不同于传统步态识别使用RGB摄像头获取多个行人行走画面，基于传感器的多人步态识别算法使用毫米波、事件相机、深度相机等类型传感器，对多个目标行人进行探测，获取不受遮挡因素影响的多目标行人步行数据。如中国专利技术专利《一种基于毫米波的多人步态识别方法及装置》(公开号：CN111368635A)中采用了该技术路线；基于传感器的方法能够利用不同传感器的优势，从数据层面避免多行人间的遮挡问题，获取相对完整的行人步态数据。但是该类方法依赖昂贵的传感器设备，且在正常无遮挡场景下，基于毫米波、事件相机、深度相机等类型传感器获取的步态数据所包含的特征信息小于使用RGB摄像头获取的图像帧。二、基于人体三维信息的识别方法：使用多摄像头对多个目标行人进行人体建模，获取不同行人的人体三维步态信息，接着使用图卷积等结构提取步态特征，实现遮挡场景下的识别。如中国专利技术专利申请《一种基于人体骨架热图的多人步态识别方法》(公开号：CN114187665A)中利用三维人体骨架热图数据进行步态识别，中国专利技术专利申请《一种基于人体骨架热图的多人步态识别方法》(公开号：CN114187665A)中OpenPose3D提取视频中行人的3D姿态数据，并使用3D步态识别网络模型TSLN
‑
PoseGait进行步态特征提取。该类方法能够利用多个视角的摄像头构建三维人体步态信息，通过不同视图之间的信息互补，降低多人间相互遮挡的影响，构建出相对完整的步态信息。三、基于鲁棒特征提取网络的方法：优化步态特征提取网络的结构，提高步态识别模型在遮挡场景下的特征鲁棒性。如中国专利技术专利申请《基于时空混合特征的多人步态识别方法》(公开号：CN112861605A)中提出一种基于时空混合特征的多人步态识别方法，利用伪三维残差网络分别提取行人轮廓上半身和下半身的特征，并在水平金字塔池化时进行拼接，获取遮挡鲁棒的步态特征。该类方法避免了多类型、多数目的传感器设备要求，对现有的步态识别网络进行改进，但是该方法的上限取决于训练数据的质量，且提升
效果十分有限。

技术实现思路

[0005]为克服现有技术中的缺点与不足，本专利技术的目的在于提供一种基于时序剪影补全的多人步态识别方法、介质及设备；该方法在步态识别流程中添加剪影图序列补全的步骤，在剪影图序列进行识别前，使用补全方式对受遮挡的剪影图序列进行补全，能够根据剪影图序列前后帧的信息，自动补全由于多人场景形成的遮挡人体部分，提升剪影图序列的质量。
[0006]为了达到上述目的，本专利技术通过下述技术方案予以实现：一种基于时序剪影补全的多人步态识别方法，包括如下步骤：
[0007]S1、获取多行人行走视频序列，利用行人检测算法，多目标跟踪算法进行行人定位；
[0008]S2、将S1步骤中得到的多行人视频序列进行分割处理，得到每个行人对应的黑白轮廓图序列，并进行步态对齐操作，得到统一尺寸的剪影图序列；
[0009]S3、将剪影图序列输入基于双判别器监督的轻量级时序剪影补全网络，得到补全后的剪影图序列；
[0010]S4、将补全后的剪影图序列输入到步态特征提取网络，得到多行人步态特征编码；
[0011]S5、将多行人步态特征编码与注册库人员步态特征进行特征匹配，得到最终的步态识别结果。
[0012]优选地，所述S3中，基于双判别器监督的轻量级时序剪影补全网络包括补全网络本体、真伪判别器和身份判别器；
[0013]补全网络本体为Encoder
‑
Decoder编解码结构，补全网络本体中使用BN正则化手段，LeakyReLu作为激活函数；补全网络本体包括编码器和解码器；其中，编码器包含N层卷积层，用于剪影图序列的下采样操作，得到压缩的步态序列特征；解码器包含N+1层反卷积层，用于将压缩的步态序列特征解码得到补全后的剪影图序列。
[0014]优选地，所述基于双判别器监督的轻量级时序剪影补全网络是指经过训练的基于双判别器监督的轻量级时序剪影补全网络；在基于双判别器监督的轻量级时序剪影补全网络训练过程中，基于双判别器监督的轻量级时序剪影补全网络中加入真伪判别器和身份判别器，以优化补全网络本体参数W
G
；
[0015]所述真伪判别器由五层3D卷积层组成，使用LayerNorm正则化手段，LeakyReLu作为激活函数；真伪判别器的输入为补全后的剪影图序列；真伪判别器负责补全网络本体的补全效果判别，以得到高图像质量的补全后剪影图序列；
[0016]所述身份判别器由五层2D卷积层组成，使用BN正则化手段，LeakyReLu作为激活函数；身份判别器输入为补全后剪影图序列和单人行走视频序列在时间维度压缩、拼接后的步态能量图；身份判别器负责补全网络本体在补全剪影图序列前后的步态身份特征一致性判别，以防止补全后剪影图序列丢失行人步态信息。
[0017]优选地，所述基于双判别器监督的轻量级时序剪影补全网络训练方法为：
[0018]Y1、采用两段以上单人行走视频序列进行合成，形成带有遮挡的剪影图序列数据集。具体地说，采集两段以上单人行走视频序列；基于静态背景减除方法获取各段单人行走
视频序列对应的步态剪影图序列，并进行步态对齐操作；在图像空间上进行聚合，将各段步态剪影图序列分别视为主体行人，在像素层面互相遮挡，形成带有遮挡的剪影图序列数据集。
[0019]Y2、初始化补全网络本体G、真伪判别器D
R
、身份判别器网络D
I
，对应参数分别为W
G
，
[0020]在带有遮挡的剪影图序列数据集中采样受遮挡的剪影图序列x和未受遮挡的真值剪影图序列剪影图序列的形状为(BS,L,W,H)；其中BS表示数据批次大小，L表示剪影图序列长度，W表示剪影图序列中剪影图宽度，H表示剪影图高度；随机采样正例剪影图序列x
pos
和负例剪影图序列x
neg
；...

【技术保护点】

【技术特征摘要】
1.一种基于时序剪影补全的多人步态识别方法，其特征在于：包括如下步骤：S1、获取多行人行走视频序列，利用行人检测算法，多目标跟踪算法进行行人定位；S2、将S1步骤中得到的多行人视频序列进行分割处理，得到每个行人对应的黑白轮廓图序列，并进行步态对齐操作，得到统一尺寸的剪影图序列；S3、将剪影图序列输入基于双判别器监督的轻量级时序剪影补全网络，得到补全后的剪影图序列；S4、将补全后的剪影图序列输入到步态特征提取网络，得到多行人步态特征编码；S5、将多行人步态特征编码与注册库人员步态特征进行特征匹配，得到最终的步态识别结果。2.根据权利要求1所述的基于时序剪影补全的多人步态识别方法，其特征在于：所述S3中，基于双判别器监督的轻量级时序剪影补全网络包括补全网络本体；补全网络本体为Encoder
‑
Decoder编解码结构，补全网络本体中使用BN正则化手段，LeakyReLu作为激活函数；补全网络本体包括编码器和解码器；其中，编码器包含N层卷积层，用于剪影图序列的下采样操作，得到压缩的步态序列特征；解码器包含N+1层反卷积层，用于将压缩的步态序列特征解码得到补全后的剪影图序列。3.根据权利要求1所述的基于时序剪影补全的多人步态识别方法，其特征在于：所述基于双判别器监督的轻量级时序剪影补全网络是指经过训练的基于双判别器监督的轻量级时序剪影补全网络；在基于双判别器监督的轻量级时序剪影补全网络训练过程中，基于双判别器监督的轻量级时序剪影补全网络中加入真伪判别器和身份判别器，以优化补全网络本体参数W
G
；所述真伪判别器由五层3D卷积层组成，使用LayerNorm正则化手段，LeakyReLu作为激活函数；真伪判别器的输入为补全后的剪影图序列；真伪判别器负责补全网络本体的补全效果判别，以得到高图像质量的补全后剪影图序列；所述身份判别器由五层2D卷积层组成，使用BN正则化手段，LeakyReLu作为激活函数；身份判别器输入为补全后剪影图序列和单人行走视频序列在时间维度压缩、拼接后的步态能量图；身份判别器负责补全网络本体在补全剪影图序列前后的步态身份特征一致性判别，以防止补全后剪影图序列丢失行人步态信息。4.根据权利要求3所述的基于时序剪影补全的多人步态识别方法，其特征在于：所述基于双判别器监督的轻量级时序剪影补全网络训练方法为：Y1、采用两段以上单人行走视频序列进行合成，形成带有遮挡的剪影图序列数据集；Y2、初始化补全网络本体G、真伪判别器D
R
、身份判别器网络D
I
，对应参数分别为W
G
，在带有遮挡的剪影图序列数据集中采样受遮挡的剪影图序列x和未受遮挡的真值剪影图序列剪影图序列的形状为(BS,L,W,H)；其中BS表示数据批次大小，L表示剪影图序列长度，W表示剪影图序列中剪影图宽度，H表示剪影图高度；随机采样正例剪影图序列x
pos
和负例剪影图序列x
neg
；设置训练参数：训练遍历次数P
n
、训练迭代次数I
n
、补全网络本体学习率LR
G
、真伪判别器学习率LR
r
、身份判别器学习率LR
I
、补全网络本体与真伪判别器和身份判别器交替迭代频
率K、损失权重参数α和β、梯度惩罚项系数λ、Adam优化器参数、随机采样数值θ∈[0,1]；Y3、循环P
n
个遍历，每个遍历中包含I
n
次训练迭代；在每次训练迭代中，计算真伪判别器的损失值L
WGAN
＝D
R
(G(x))
‑
D
R

【专利技术属性】
技术研发人员：王鑫，康文雄，廖小传，邓飞其，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：