一种基于时空特征互补融合的行人重识别和步态识别方法技术

本发明专利技术涉及一种基于时空特征互补融合的行人重识别和步态识别方法，包括：获取待检测视频中的待检测光学图像和待检测行人步态图像；将待检测光学图像和待检测行人步态图像分别输入行人重识别网络和步态识别网络，行人重识别网络和步态识别网络分别输出第一行人特征和第一行人步态特征；将行人重识别网络输出的第一行人特征和步态识别网络输出的第一行人步态特征输入至训练好的步态特征辅助行人重识别网络的时空特征互补融合模块进行特征融合，得到初始行人特征向量；将初始行人特征向量和第一行人特征按照维度连接并进行归一化，得到最终行人特征向量。本发明专利技术的步态特征辅助行人重识别方法提高了行人重识别算法模型的准确率。型的准确率。型的准确率。

【技术实现步骤摘要】
一种基于时空特征互补融合的行人重识别和步态识别方法


[0001]本专利技术涉及图像处理
，具体涉及一种基于时空特征互补融合的行人重识别和步态识别方法。

技术介绍

[0002]行人重识别(Person re
‑
identification，Person ReID)，是利用计算机视觉技术对跨摄像头的人员图像进行特征提取，从而进行人员匹配的技术。由于行人重识别在基于安全应用中的重要作用，行人重识别任务的研究是安全事件相关的研究核心。近年来，随着机器学习和深度学习在许多领域的成功应用，研究人员们开始尝试将其应用到行人重识别上。机器学习的发展以及后来的深度学习方法为行人重识别开辟了广泛的先进可能性，这些可能性将为社会和个人带来更安全的家庭、办公室、社区、公共汽车站、机场等的环境，造福于全人类。
[0003]行人重识别框架与大多数基于深度学习的图像处理问题相似，首先使用卷积神经网络(CNN，Convolutional Neural Networks)利用表征学习对数据进行特征提取得到特征向量，之后再利用度量学习的方法进行类别判断。现存行人重识别算法主要可以分为两类：一类是基于图像的行人重识别算法，另一类是基于视频的行人重识别算法。目前基于图像的行人重识别算法通过卷积神经网络提取行人特征，再利用度量学习对行人进行重识别。基于视频的行人重识别算法是利用深度神经网络挖掘行人表观特征和建立行人时空运动关系，其依赖于更丰富的行人视频特征，采用度量学习进行行人重识别，其性能优于图像行人重识别。由于引入视频多帧图像进行行人重识别，同时也会引入噪声。由于图像噪声较大、背景复杂和帧间错位等问题，目前基于视频的行人重识别算法还存在缺陷。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于时空特征互补融合的行人重识别和步态识别方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0005]本专利技术的一个实施例提供了一种基于时空特征互补融合的行人重识别和步态识别方法，所述行人重识别和步态识别包括：
[0006]步骤1、获取待检测视频中的待检测光学图像和待检测行人步态图像，其中，所述待检测光学图像为从所述待检测视频提取的原始图像，所述待检测行人步态图像为利用所述待检测光学图像得到的行人的轮廓图像；
[0007]步骤2、将所述待检测光学图像和所述待检测行人步态图像分别输入训练好的步态特征辅助行人重识别网络的行人重识别网络和步态识别网络，所述行人重识别网络和所述步态识别网络分别输出所述第一行人特征和所述第一行人步态特征；
[0008]步骤3、将所述行人重识别网络输出的第一行人特征和所述步态识别网络输出的第一行人步态特征输入至所述训练好的步态特征辅助行人重识别网络的时空特征互补融合模块进行特征融合，得到初始行人特征向量；
[0009]步骤4、将所述初始行人特征向量和所述第一行人特征按照维度连接并进行归一化，得到最终行人特征向量。
[0010]在本专利技术的一个实施例中，所述步骤1包括：
[0011]步骤1.1、对所述待检测视频进行采样抽帧，得到所述待检测光学图像；
[0012]步骤1.2、利用训练好的Mask RCNN网络，对所述待检测光学图像进行处理，得到行人掩膜，并将所述行人掩膜作为待检测行人步态图像。
[0013]在本专利技术的一个实施例中，所述步骤3包括：
[0014]步骤3.1、将第一行人特征做平均池化得到第二行人特征，对所述第二行人特征做归一化得到第一行人特征向量，将第一行人步态特征做时间池化和广义平均池化得到第二行人步态特征，所述第二行人步态特征经过全连接层和归一化处理得到第一行人步态特征向量；
[0015]步骤3.2、通过两个第一线性层将所述第一行人特征向量和所述第一行人步态特征向量分别映射到同一维度，得到同一维度的第二行人特征向量和第二行人步态特征向量；
[0016]步骤3.3、将所述第二行人特征向量和所述第二行人步态特征向量按照维度连接起来得到连接后的第一维度向量；
[0017]步骤3.4、采用两个第二线性层对所述第一维度向量分别进行降维处理，并经过RELU激活函数激活得到两个第二维度向量；
[0018]步骤3.5、采用第三线性层将其中一个第二维度向量映射到维度为N的第三维度向量，采用第四线性层将另外一个第二维度向量映射到N*N维向量，并且将N*N维向量的尺寸重新排列到(N，N)，作为动态权重；
[0019]步骤3.6、将所述第三维度向量与所述动态权重做矩阵乘法，得到N维融合特征向量；
[0020]步骤3.7、使用第五线性层将N维融合特征向量进行升维处理，并和所述第一行人特征做残差连接得到初始行人特征向量。
[0021]在本专利技术的一个实施例中，所述步态特征辅助行人重识别网络的训练方法包括：
[0022]S1、获取包括若干光学图像和若干步态图像的数据集，所述数据集包括训练集、测试集和查找集；
[0023]S2、将所述训练集中的光学图像和步态图像分别输入至所述行人重识别网络和所述步态识别网络，得到第三行人特征和第三行人步态特征；
[0024]S3、利用所述时空特征互补融合模块对所述第三行人特征和所述第三行人步态特征进行特征融合，得到行人特征融合向量；
[0025]S4、基于所述行人特征融合向量对应的交叉熵损失函数和三元组损失函数，采用自适应加权方法得到总的损失值；
[0026]S5、通过所述总的损失值经过梯度反向传播来优化所述步态特征辅助行人重识别网络的参数，直至达到预设条件，得到训练好的步态特征辅助行人重识别网络。
[0027]在本专利技术的一个实施例中，在步骤S2之前，还包括：
[0028]对所述训练集中的光学图像采用随机翻转和\或随即擦除方法进行数据增强，对所述训练集中的步态图像采用随机翻转方法进行数据增强。
[0029]在本专利技术的一个实施例中，所述行人重识别网络为优化ResNet50
‑
2D网络得到的Resnet50
‑
I3D网络，具体为：
[0030]在所述ResNet50
‑
2D网络的基础上，将所述ResNet50
‑
2D网络中的所有2D卷积层全部更改为3D卷积层，将所有二维归一化层更改为三维归一化层，并添加一维时间维度。
[0031]在本专利技术的一个实施例中，所述步态识别网络包括GaitGL网络，且所述步态识别网络将行人步态特征分为4块，并且展平为512维输出。
[0032]在本专利技术的一个实施例中，在步骤S5之后，还包括：
[0033]S6、利用训练好的步态特征辅助行人重识别网络对所述测试集和所述查找集进行处理，输入所述查找集到训练好的步态特征辅助行人重识别网络中来匹配所述测试集中相同身份的图像，以完成测试。
[0034]在本专利技术的一个实施例中，步骤S6包括：
[0035]S6.1、利用训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空特征互补融合的行人重识别和步态识别方法，其特征在于，所述行人重识别和步态识别方法包括：步骤1、获取待检测视频中的待检测光学图像和待检测行人步态图像，其中，所述待检测光学图像为从所述待检测视频提取的原始图像，所述待检测行人步态图像为利用所述待检测光学图像得到的行人的轮廓图像；步骤2、将所述待检测光学图像和所述待检测行人步态图像分别输入训练好的步态特征辅助行人重识别网络的行人重识别网络和步态识别网络，所述行人重识别网络和所述步态识别网络分别输出所述第一行人特征和所述第一行人步态特征；步骤3、将所述行人重识别网络输出的第一行人特征和所述步态识别网络输出的第一行人步态特征输入至所述训练好的步态特征辅助行人重识别网络的时空特征互补融合模块进行特征融合，得到初始行人特征向量；步骤4、将所述初始行人特征向量和所述第一行人特征按照维度连接并进行归一化，得到最终行人特征向量。2.根据权利要求1所述的一种基于时空特征互补融合的行人重识别和步态识别方法，其特征在于，所述步骤1包括：步骤1.1、对所述待检测视频进行采样抽帧，得到所述待检测光学图像；步骤1.2、利用训练好的Mask RCNN网络，对所述待检测光学图像进行处理，得到行人掩膜，并将所述行人掩膜作为待检测行人步态图像。3.根据权利要求1所述的一种基于时空特征互补融合的行人重识别和步态识别方法，其特征在于，所述步骤3包括：步骤3.1、将第一行人特征做平均池化得到第二行人特征，对所述第二行人特征做归一化得到第一行人特征向量，将第一行人步态特征做时间池化和广义平均池化得到第二行人步态特征，所述第二行人步态特征经过全连接层和归一化处理得到第一行人步态特征向量；步骤3.2、通过两个第一线性层将所述第一行人特征向量和所述第一行人步态特征向量分别映射到同一维度，得到同一维度的第二行人特征向量和第二行人步态特征向量；步骤3.3、将所述第二行人特征向量和所述第二行人步态特征向量按照维度连接起来得到连接后的第一维度向量；步骤3.4、采用两个第二线性层对所述第一维度向量分别进行降维处理，并经过RELU激活函数激活得到两个第二维度向量；步骤3.5、采用第三线性层将其中一个第二维度向量映射到维度为N的第三维度向量，采用第四线性层将另外一个第二维度向量映射到N*N维向量，并且将N*N维向量的尺寸重新排列到(N，N)，作为动态权重；步骤3.6、将所述第三维度向量与所述动态权重做矩阵乘法，得到N维融合特征向量；步骤3.7、使用第五线性层将N维融合特征向量进行升维处理，并和所述第一行人特征做残差连接得到初始行人特征向量。4.根据权利要求1所述...

【专利技术属性】
技术研发人员：杨曦，汪贤，袁柳，魏梓钰，杨东，
申请(专利权)人：中国电子科技集团公司电子科学研究院，
类型：发明
国别省市：