一种基于目标运动特性的视频行人重识别方法技术

本发明专利技术公开了一种基于目标运动特性的视频行人重识别方法，首先建立目标特征提取基础网络，再建立目标运动特性提取层，再将基础网络的各个模块与运动特性提取层依次进行组合，搭建得到视频行人特征提取网络，对视频行人特征提取网络进行训练；将待识别行人数据和数据库中的存储数据分别输入训练完成的视频行人特征提取网络进行特征提取，得到待识别行人数据特征向量和存储数据特征向量；分别计算待识别行人数据特征向量和每个存储数据特征向量之间的余弦相似度，并取待识别行人数据与数据库中存储数据中余弦相似度最高的样本作为成功匹配的样本，即为视频行人重识别结果。本发明专利技术中充分利用了视频数据时空信息，增强了对行人目标的特征提取能力。人目标的特征提取能力。人目标的特征提取能力。

【技术实现步骤摘要】
一种基于目标运动特性的视频行人重识别方法


[0001]本专利技术属于模式识别
，具体涉及一种视频行人重识别方法。

技术介绍

[0002]行人识别问题是目前公共安全监控领域的难点和重点，其目的在于匹配不同摄像头下属于同一行人的图像或者视频数据，其在刑事侦查、预警分析和智慧城市等方面具有广阔的应用前景。
[0003]目前，基于图像的行人重识别技术已经比较成熟，基于视频的行人重识别方法因其具有丰富的目标信息，能够建立更为鲁棒的重识别方法，越来越受到学界的关注。
[0004]陈莉、王洪元等(《联合均等采样随机擦除和全局时间特征池化的视频行人重识别方法》，计算机应用，2021，41(1):164
‑
169)针对为解决视频监控中遮挡、背景物干扰，以及行人外观、姿势相似性等因素导致的视频行人重识别准确率较低的问题，提出了联合均等采样随机擦除和全局时间特征池化的视频行人重识别方法。首先针对目标行人被干扰或部分遮挡的情况，采用了均等采样随机擦除的数据增强方法来有效地缓解遮挡，提高模型的泛化能力，更准确地匹配行人；其次为了进一步提高视频行人重识别的精度，学习更有判别力的特征表示，使用三维卷积神经网络提取时空特征，并在网络输出行人特征表示前加上全局时间特征池化层，这样既能获取上下文的空间信息，又能细化帧与帧之间的时序信息。但是该方法仍然存在如下问题：
[0005](1)三维卷积网络参数量大，计算量大，网络收敛慢；
[0006](2)缺乏对行人目标运动特性的分析，所提取的特征不能全面反映行人的目标特征。

技术实现思路

[0007]为了克服现有技术的不足，本专利技术提供了一种基于目标运动特性的视频行人重识别方法，首先建立目标特征提取基础网络，再建立目标运动特性提取层，再将基础网络的各个模块与运动特性提取层依次进行组合，搭建得到视频行人特征提取网络，对视频行人特征提取网络进行训练；将待识别行人数据和数据库中的存储数据分别输入训练完成的视频行人特征提取网络进行特征提取，得到待识别行人数据特征向量和存储数据特征向量；分别计算待识别行人数据特征向量和每个存储数据特征向量之间的余弦相似度，并取待识别行人数据与数据库中存储数据中余弦相似度最高的样本作为成功匹配的样本，即为视频行人重识别结果。本专利技术中充分利用了视频数据时空信息，增强了对行人目标的特征提取能力。
[0008]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0009]步骤1：建立目标特征提取基础网络，基础网络由残差卷积神经网络ResNet
‑
50的五个卷积模块组成，将这五个模块分别记为L0、L1、L2、L3、L4；
[0010]步骤2、建立目标运动特性提取层，记为M0、M1、M2、M3，具体如下：
[0011]步骤2
‑
1：从视频中截取T帧图像，将T帧图像分别独立输入L0，提取图像特征分别为f
i
，i＝1,...,T；
[0012]步骤2
‑
2：计算参考特征
[0013][0014]其中，W为待学习的参数；C、H和W分别为图像特征的通道数、高度和宽度；为了保证与f
i
具有相同的尺寸，通道数设为1；
[0015]步骤2
‑
3：计算运动特性特征：
[0016][0017]其中，A是和f
i
的关系矩阵，g
i
为运动特性特征，与f
i
具有相同的尺寸；
[0018]步骤2
‑
4：将g
i
分别独立输入L1，提取图像特征作为f
i
，重复步骤2
‑
2和步骤2
‑
3，依次遍历L2、L3、L4；
[0019]步骤2
‑
5：将L0到L1中间的目标运动特性提取层记为M0，将L1到L2中间的目标运动特性提取层记为M1，将L2到L3中间的目标运动特性提取层记为M2，将L3到L4中间的目标运动特性提取层记为M3，得到视频行人特征提取网络，该网络构成为L0、M0、L1、M1、L2、M2、L3、M3、L4依次排列；L4输出的特征通过平均池化层进行降维，最终输出视频行人重识别特征；
[0020]步骤3：训练步骤2所创建的视频行人特征提取网络，得到训练完成的视频行人特征提取网络；训练过程中采用三元损失函数和softmax交叉熵损失函数进行联合训练；
[0021]步骤4：将待识别行人数据和数据库中的存储数据分别输入训练完成的视频行人特征提取网络进行特征提取，得到待识别行人数据特征向量和存储数据特征向量；
[0022]步骤5：分别计算待识别行人数据特征向量和每个存储数据特征向量之间的余弦相似度，并取待识别行人数据与数据库中存储数据中余弦相似度最高的样本作为成功匹配的样本，即为视频行人重识别结果。
[0023]优选地，所述余弦相似度采用如下公式计算：
[0024][0025]其中，n是特征向量的维度，x
g
为第g个行人对应的特征向量，g＝1,...,N，N为待识别行人数，y
j
为第j个目标对应的特征向量，j＝1,...,M，M为数据库中的存储数据数量。
[0026]本专利技术的有益效果如下：
[0027]1、本专利技术的深度卷积神经网络针对视频行人重识别进行优化，克服了现有的行人重识别技术识别精度较低，所采用的三维卷积网络参数量大、计算量大，网络收敛慢，并且所提取的特征不能全面反映行人的目标特征，缺乏对行人的运动特性的分析利用的缺陷。
[0028]2、本专利技术中加入的目标运动特性提取模块，充分利用了视频数据时空信息，通过参考多帧图像全局特征信息挖掘出图像特征的有用信息，同时去除其无用信息，实现对目标运动特性的挖掘利用，增强了对行人目标的特征提取能力。与现有方法比较，识别rank1
准确率在MARS数据集上提升了5.0％。
附图说明
[0029]图1是本专利技术视频行人特征提取网络目标运动特性提取网络的结构图。
[0030]图2是本专利技术目标运动特性提取层结构图。
[0031]图3是本专利技术方法流程图。
具体实施方式
[0032]下面结合附图和实施例对本专利技术进一步说明。
[0033]一种基于目标运动特性的视频行人重识别方法，包括如下步骤：
[0034]步骤1：建立目标特征提取基础网络，基础网络由残差卷积神经网络ResNet
‑
50的五个卷积模块组成，将这五个模块分别记为L0、L1、L2、L3、L4；
[0035]步骤2、建立目标运动特性提取层，记为M0、M1、M2、M3，具体如下：
[0036]步骤2
‑
1：从视频中截取T帧图像，将T帧图像分别独立输入L0，提取图像特征分别为f
i
，i＝1,...,T；
[0037]步骤2
...

【技术保护点】

【技术特征摘要】
1.一种基于目标运动特性的视频行人重识别方法，其特征在于，包括如下步骤：步骤1：建立目标特征提取基础网络，基础网络由残差卷积神经网络ResNet
‑
50的五个卷积模块组成，将这五个模块分别记为L0、L1、L2、L3、L4；步骤2、建立目标运动特性提取层，记为M0、M1、M2、M3，具体如下：步骤2
‑
1：从视频中截取T帧图像，将T帧图像分别独立输入L0，提取图像特征分别为f
i
，i＝1,...,T；步骤2
‑
2：计算参考特征2：计算参考特征其中，W为待学习的参数；C、H和W分别为图像特征的通道数、高度和宽度；为了保证与f
i
具有相同的尺寸，通道数设为1；步骤2
‑
3：计算运动特性特征：其中，A是和f
i
的关系矩阵，g
i
为运动特性特征，与f
i
具有相同的尺寸；步骤2
‑
4：将g
i
分别独立输入L1，提取图像特征作为f
i
，重复步骤2
‑
2和步骤2
‑
3，依次遍历L2、L3、L4；步骤2
‑
...

【专利技术属性】
技术研发人员：张科，福辉，李浩宇，王靖宇，苏雨，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：