基于先验知识的步态序列修复与监控受众身份识别方法技术

本发明专利技术公开了一种基于先验知识的步态序列修复与监控受众身份识别方法，包括：(1)从步态数据集中选取固定帧数连续的序列，将选取的序列人工合成已知的遮挡模式，得到遮挡步态图像；(2)通过YOLO神经网络来逐张检测步态序列中遮挡步态图像的局部遮挡区域，并将其作为先验知识为遮挡修复区域分配更高的修复权值，利用3D

【技术实现步骤摘要】
基于先验知识的步态序列修复与监控受众身份识别方法


[0001]本专利技术属于图像识别
，涉及基于先验知识的步态序列修复与监控受众身份识别方法。

技术介绍

[0002]在基于生物特征的身份认证在访问控制、视觉监控和取证等各种应用中正变得越来越重要。步态识别是生物特征识别领域的研究热点之一，因为它具有人脸、虹膜、指纹等生物特征无法比拟的独特优势。例如，它可以在不需要对象的合作的情况下远距离捕捉该对象的步态特征，并且在相对分辨率比较低的图像序列中也有很好的识别能力。目前，步态识别已被用于公安刑侦和健康监测等领域，并且具有比较好的效果。
[0003]目前，公开的步态数据集所提取到的步态轮廓都存有缺失或不完整的情况，但绝大部分步态识别研究方法都是隐式的基于完整的步态轮廓序列。然而在实际应用中，监控捕捉到的行人轮廓很可能是被遮挡的轮廓图像。这些限制因素的存在会使得提取轮廓的过程更加复杂，甚至难以提取到完整的步态轮廓序列。对遮挡步态的处理可以分为两种，一种是无需重建步态轮廓直接进行身份识别，另一种是将步态轮廓修复后用于身份识别。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于先验知识的步态序列修复与监控受众身份识别方法，其特征在于包括：(1)从步态数据集中选取固定帧数连续的序列，将选取的序列人工合成已知的遮挡模式，得到遮挡步态图像；(2)通过YOLO神经网络来逐张检测步态序列中遮挡步态图像的局部遮挡区域，将其作为先验知识为遮挡修复区域分配更高的修复权值，使用3D
‑
CNN和Spatio
‑
Temporal Transformer对遮挡序列进行端对端的全局修复，通过先验知识从全局修复序列中获取遮挡区域的修复结果，将修复结果和原始遮挡步态进行融合，得到修复后的步态图像；(3)分为遮挡已知和遮挡未知两种情况，训练GSTRNet网络和测试数据；(4)使用Gaitset网络提取修复后步态图像的步态特征，用于监控受众的身份识别，最终输出识别结果。2.根据权利要求书1所述基于先验知识的步态序列修复与监控受众身份识别方法，其特征在于，利用YOLO、3DCNN、Spatio
‑
Temporal Transformer和Gaitset构建得到GSTRNet网络。3.根据权利要求书2所述基于先验知识的步态序列修复与监控受众身份识别方法，其特征在于，所述步骤(2)中，GSTRNet网络中，利用3D
‑
CNN和Spatio
‑
Temporal Transformer来修复序列，修复空间信息的同时保持帧与帧之间的时空连贯性。4.根据权利要求书1所述基于先验知识的步态序列修复与监控受众身份识别方法，其特征在于，所述步骤(2)中，具体为：S201、使用YOLOv5网络来检测序列中每帧的缺失区域作为先验知识，通过定义孔洞损失和非孔洞损失融合的联合重建损失函数，重点进行局部遮挡区域的修复，有效保留未遮挡区域信息；S202、使用3D
‑
CNN和跳跃连接的方法构建时空编解码器3DCE，能够在修复时空信息的同时减少梯度消失；S203、使用Spatio
‑
Temporal Transformer来对深层特征进行时空信息修复。5.根据权利要求书4所述基于先验知识的步态序列修复与监控受众身份识别方法，其特征在于，所述步骤S201包括：2.1.1)令S1为固定分布D
X
×
Z
中的步态训练样本集；输入空间X是所有存在遮挡的步态序列集合；目标空间Z表示对应遮挡序列中所有步态图中遮挡区域的锚点的集合；每个步态训练样本都由一组序列(x,z)组成；目标序列z＝(z1,z2,
…
,z
N
)长度等于输入序列x＝(x1,x2,
…
,x
N
)，因为一张图中可能不只是存在一个遮挡区域，每一个z
i
表示该x
i
中的所有锚点的集合；利用步态样本集S1来训练一个YOLOv5网络，并能对任意长度的遮挡步态测序列数据进行检测其中每一帧的遮挡区域，输出遮挡区域的锚点集合，即：anchors＝max p(z|x)式中，anchors为锚点集合；max为最值函数；p(z|x)为每张遮挡图中检测出来可能存在遮挡的锚点概率；2.1.2)创建一个值全为0的和X维度一致的向量序列利用YOLOv5网络检测出的锚点集合anchors，将对应的区域值设为1，最终生成序列掩码M，遮挡区域值设为1，未遮挡区域
值为0；2.1.3)使用长度为N的序列掩码M＝(M1,M2,
…
,M
N
)，作为时空编解码器网络的输入的一部分；2.1.4)使用长度为N的序列掩码M＝(M1,M2,
…
,M
N
)，从时空编解码器网络的全局修复结果获得遮挡区域和非遮挡区域来构建重建损失；获得遮挡区域和非遮挡区域来构建重建损失；式中，L
hole
为遮挡区域的损失；L
valid
为非遮挡区域的损失；为该遮挡序列中每张步态图像的遮挡区域的集合；为全局修复结果；为真实未遮挡的序列。6.根据权利要求书4所述基于先验知识的步态序列修复与监控受众身份识别方法，其特征在于，所述步骤S202包括：2.2.1)令S2为固定分布D
X
×
M
×
Y
中的步态训练样本集；输入空间X是所有存在遮挡的步态序列集合；M表示对应遮挡序列中掩码序列的集合，由YOLO网络生成；目标序列Y表示同X具有相同ID但不存在遮挡的序列集合；每个步态训练样本都由一组序列(x,m,y)组成；目标序列y＝(y1,y2,
…
,y
N
)长度等于输入序列x＝(x1,x2,
…
,x
N
)和m＝(m1,m2,...,m
n
)；利用步态样本集S2来训练一个时空编解码器网络3DCE，能够将存在遮挡的步态序列重建，输出完整的步态序列，即：式中，为全局修复结果；为遮挡序列，N代表一个序列中步态图像数量；2.2.2)Encoder由一个kernel为3
×3×
3、stride为1
×1×
1的3D
‑
CNN卷积层和两个卷积块组成，每个卷积块由一个kernel为3
×3×
3、stride为1
×1×
1的卷积层后接一个Kernel为4
×4×
4、stride为2
×2×
2的卷积层组合而成，卷积核的个数也由64增长到了256，每个卷积层中都使用批归一化BN和RELU非线性激活；为了在图像下采样的时候让每一个元素都参与进来，保留更多的细节信息，使用stride为2的卷积来代替了池化层；同时为了保留更多的时间信息，在每次下采样之前都首先进行一次卷积；Encoder通过从遮挡序列中获取具有时空信息的低维特征f；给定遮挡序列，从编码器获得的低维特征f表示为：2.2.3)Decoder首先用3个由膨胀卷积组成的残差块，然后采用交替排列的3层卷积和2层反卷积层，kernel和stride和Encoder一样，除最后一层外，所有卷积层都经过批归一化BN和RELU非线性激活，最后一层卷积层之后使用Tanh激活函数将数据都映射到[
‑
1,1]之间来保持和输入数据范围的一致性；使用跳跃连接的方式将编码器和解码器中的特征混合，
减缓编码过程中下采样时的细节损失，并将梯度消失的问题的影响降至最低；解码器通过将STT的输出作为输入，输出遮挡序列的全局修复结果的全局修复结果2.2.4)使用长度为N的序列掩码M＝(M1,M2,
…
,M
N
)，从时空编解码器网络的全局修复结果中获得局部修复结果，并和输入X融合生成最终的修复序列结果中获得局部修复结果，并和输入X融合生成最终的修复序列结果2.2.5)将最终修复序列结果作为Gaitset网络输入的一部分。7.根据权利要求书4所述基于先验知识的步态序列修复与监控受众身份识别方法，其特征在于，所述步骤S203包括：2.3.1)额外引入Transformer来处理深度特征，STT由四个Transformer block组成，Transformer block分为多头注意力MultiHead和MLP两个子层；MultiHead是一种多尺度的自注意力模块，head
i
(h
i
)对应不同尺度的注意力，设计不同尺度的注意力可以从局部和全局获取时空信息来修复遮挡部分；将编码器得到的低维特征f∈R
t
×
h
×
w
×...

【专利技术属性】
技术研发人员：罗坚，阳强，黄宇琛，陈泽超，易健，
申请(专利权)人：湖南师范大学，
类型：发明
国别省市：