一种基于时空上下文的行人重识别与追踪方法技术

本发明专利技术涉及一种基于时空上下文的行人重识别与追踪方法，包括：训练Mask RCNN网络；利用训练后的Mask RCNN网络处理原始图片集，得到训练集、测试集和查找集；利用训练集训练卷积神经网络；利用训练后的卷积神经网络对测试集和查找集进行处理，以从测试集中获取第一预设数量的图片，以对目标行人进行重识别。本发明专利技术使用目标检测算法和实例分割算法对图片进行预处理，去除背景干扰信息，能够进一步提高模型精度，提升行人重识别方法的准确率。同时，本发明专利技术解决了目前行人重识别算法缺乏追踪功能的问题，提出了基于步行速度的区域预测算法，结合Mask RCNN降低了追踪计算复杂度，达到实时追踪，提高了追踪效率。

【技术实现步骤摘要】
一种基于时空上下文的行人重识别与追踪方法
本专利技术图像处理
，具体涉及一种基于时空上下文的行人重识别与追踪方法。
技术介绍
行人重识别(Personre-identification)也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。行人重识别算法在公共安全领域起着十分重要的作用，应用于在监控视频中快速检索并追踪目标，从而弥补在人脸信息缺失的情况下对身份辨认不足的缺陷。行人重识别的任务是跨摄像头检索，即在某一摄像头中出现的目标需要从其他的摄像头被检索到。目前行人重识别算法主要可以分为两类：一类是基于图像的行人重识别算法，另一类是基于视频的行人重识别算法。目前基于图像的行人重识别算法通过引入poseestimation(姿态估计)，将人体分割为多个部分，并将其分别放入卷积神经网络中进行学习，再利用卷积神经网络对行人进行重识别；基于视频的行人重识别算法一般先使用卷积神经网络提取行人特征，之后再将行人特征放入卷积神经网络中学习视频序列的行人特征。但是，在基于图像的行人重识别算法的研究中常用的DukeMTMC-reID数据库中只有约3万张图片(其中共有1400多个行人)，导致没有足够的数据用来训练基于图像的行人重识别算法的卷积神经网络，从而影响其重识别准确率；对于基于视频的行人重识别算法需先后放入卷积神经网络和循环神经网络中进行训练，导致这类算法的复杂度高，且所需训练时间较长。并且，在某些现有的追踪方法中，大多使用长短时记忆网络(循环神经网络的一种)来预测行人的位置，且该追踪方法使用的是传统的手工特征提取方式提取行人信息，准确率较低，训练耗费时间长，导致追踪效率低。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提供了一种基于时空上下文的行人重识别与追踪方法。本专利技术的一个实施例提供了一种基于时空上下文的行人重识别与追踪方法，包括：训练MaskRCNN网络；利用训练后的MaskRCNN网络处理原始图片集，得到训练集、测试集和查找集；利用所述训练集训练卷积神经网络；利用训练后的卷积神经网络对所述测试集和所述查找集进行处理，从所述测试集中获取第一预设数量的图片，以对目标行人进行重识别，之后对所述目标行人进行追踪。在本专利技术的一个实施例中，对所述目标行人进行追踪，包括：根据所述第一预设数量的图片得到N个第二图片序列；根据训练后的MaskRCNN网络处理所述N个第二图片序列，以对所述目标行人进行跟踪。在本专利技术的一个实施例中，根据所述第一预设数量的图片得到N个第二图片序列，包括：根据图片属性和时间顺序，将所述第一预设数量的图片划分为N个第一图片序列；对所述第一图片序列进行补全处理，以得到第二图片序列，其中，所述第二图片序列的数量为N个。在本专利技术的一个实施例中，根据训练后的MaskRCNN网络处理N个所述第二图片序列，以对所述目标行人进行跟踪，包括：获取所述第二图片序列中的第M-1帧图片至第M帧图片；利用训练后的MaskRCNN网络提取所述第M-1帧图片至所述第M帧图片中所有行人及所述行人的位置信息；计算所有所述行人与所述目标行人的欧式距离，确定与所述目标行人的欧式距离最小的所述行人，以得到第一待跟踪行人；根据所述第M-1帧图片至所述第M帧图片中的第一待跟踪行人的位置信息，获取所述第二图片序列中的第M+1帧图片的预测区域；利用训练后的MaskRCNN网络对所述预测区域进行检测，完成对所述目标行人的跟踪。在本专利技术的一个实施例中，利用训练后的MaskRCNN网络对所述预测区域进行检测，完成对所述目标行人的跟踪，包括：利用训练后的MaskRCNN网络对所述预测区域进行检测，获取所述预测区域中所有第二待跟踪行人；判断所述预测区域中第二待跟踪行人的人数，若所述第二待跟踪行人的人数为一人，则将所述第二待跟踪行人确定为所述目标行人，若所述第二待跟踪行人的人数为多人，则计算所有所述第二待跟踪行人与所述目标行人的欧式距离，将与所述目标行人的欧式距离最小的所述第二待跟踪行人确定为所述目标行人，完成对所述目标行人的跟踪。在本专利技术的一个实施例中，利用训练后的MaskRCNN网络处理原始图片集，包括：获取原始图片集；利用训练后的MaskRCNN网络的实例分割层提取所述原始图片集中行人的轮廓信息；根据所述轮廓信息对所述原始图片集进行填黑处理。在本专利技术的一个实施例中，利用所述训练集训练卷积神经网络，包括：从所述训练集中选取第二预设数量的图片；对所述第二预设数量的图片进行镜像翻转处理和/或裁剪处理和/或拉伸处理和/或遮挡处理，得到预设图片子集；利用所述预设图片子集训练卷积神经网络。在本专利技术的一个实施例中，利用训练后的卷积神经网络对所述测试集和所述查找集进行处理，从所述测试集中获取第一预设数量的图片，包括：利用训练后的卷积神经网络的全局平均池化层，提取所述测试集的行人特征和所述查找集的行人特征；计算所述测试集的行人特征和所述查找集的行人特征之间的欧式距离，以从所述测试集中获取第一预设数量的图片。与现有技术相比，本专利技术的有益效果：本专利技术的行人重识别方法是一种时空上下文(视频)的行人重识别方法，其使用了目标检测算法和实例分割算法(MaskRCNN)对图片进行预处理，去除了背景干扰信息，能够进一步提高模型精度，提升行人重识别方法的准确率。同时，本专利技术解决了目前行人重识别算法缺乏追踪功能的问题，提出了基于步行速度的区域预测算法，结合MaskRCNN降低了追踪计算复杂度，达到实时追踪，提高了追踪效率。附图说明图1为本专利技术实施例提供的一种基于时空上下文的行人重识别与追踪方法的流程示意图；图2为本专利技术实施例提供的另一种基于时空上下文的行人重识别与追踪方法的流程示意图；图3为本专利技术实施例提供的训练后的MaskRCNN网络检测之前的原始图片集中行人图片的示意图；图4为本专利技术实施例提供的训练后的MaskRCNN网络检测之后的原始图片集中行人图片的示意图；图5为本专利技术实施例提供的一种填黑处理的图片示意图；图6为本专利技术实施例提供的一种第M-1帧图片的示意图；图7为本专利技术实施例提供的一种第M帧图片的示意图；图8为本专利技术实施例提供的一种第M+1帧图片的示意图；图9为本专利技术实施例提供的一种基于时空上下文的行人重识别与追踪方法的结果示意图。具体实施方式下面结合具体实施例对本专利技术做进一步详细的描述，但本专利技术的实施方式不限于此。实施例一请同时参见图1和图2，图1为本专利技术实施例提供的一种基于时空上下文的行人重识别与追踪方法的流程示意图，图2为本专利技术实施例提供的另一种基于时空上下文的行人重识别与追踪方法的流程示意图。一种基于时空上下文的行人重识别与追踪方法，该方法包括：步骤一、训练MaskRCNN网络；具体地，将FasterRCNN网络中的RoIPooling层替换为RoIAlign层，并在FasterRCNN网络中的最后一层之后添加并列的FCN层(即mask层，用于实例分割)，即可得到MaskRCNN网络。具体地，使用数据库对MaskRCNN网络进行训练，并将MaskRCNN网络中的backbone设置为X_32x8d-FPN，backbone为网络基础框架。例如，本专利技术实施例采用训练MaskRCNN网络的数据库为ImageNet5K，Ima本文档来自技高网...

【技术保护点】
1.一种基于时空上下文的行人重识别与追踪方法，其特征在于，包括：训练Mask RCNN网络；利用训练后的Mask RCNN网络处理原始图片集，得到训练集、测试集和查找集；利用所述训练集训练卷积神经网络；利用训练后的卷积神经网络对所述测试集和所述查找集进行处理，从所述测试集中获取第一预设数量的图片，以对目标行人进行重识别，之后对所述目标行人进行追踪。

【技术特征摘要】
1.一种基于时空上下文的行人重识别与追踪方法，其特征在于，包括：训练MaskRCNN网络；利用训练后的MaskRCNN网络处理原始图片集，得到训练集、测试集和查找集；利用所述训练集训练卷积神经网络；利用训练后的卷积神经网络对所述测试集和所述查找集进行处理，从所述测试集中获取第一预设数量的图片，以对目标行人进行重识别，之后对所述目标行人进行追踪。2.根据权利要求1所述的重识别与追踪方法，其特征在于，对所述目标行人进行追踪，包括：根据所述第一预设数量的图片得到N个第二图片序列；根据训练后的MaskRCNN网络处理所述N个第二图片序列，以对所述目标行人进行跟踪。3.根据权利要求2所述的重识别与追踪方法，其特征在于，根据所述第一预设数量的图片得到N个第二图片序列，包括：根据图片属性和时间顺序，将所述第一预设数量的图片划分为N个第一图片序列；对所述第一图片序列进行补全处理，以得到第二图片序列，其中，所述第二图片序列的数量为N个。4.根据权利要求2所述的重识别与追踪方法，其特征在于，根据训练后的MaskRCNN网络处理N个所述第二图片序列，以对所述目标行人进行跟踪，包括：获取所述第二图片序列中的第M-1帧图片至第M帧图片；利用训练后的MaskRCNN网络提取所述第M-1帧图片至所述第M帧图片中所有行人及所述行人的位置信息；计算所有所述行人与所述目标行人的欧式距离，确定与所述目标行人的欧式距离最小的所述行人，以得到第一待跟踪行人；根据所述第M-1帧图片至所述第M帧图片中的第一待跟踪行人的位置信息，获取所述第二图片序列中的第M+1帧图片的预测区域；利用训练后的MaskRCNN网络对所述预测区域进行检测，完成对所述...

【专利技术属性】
技术研发人员：杨曦，汤英智，王楠楠，高新波，宋彬，杨东，吴郯，郭浩远，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61