基于GAN和深度学习的换装行人再识别定位跟踪系统技术方案

一种基于GAN和深度学习的换装行人再识别定位跟踪系统，包括：行人目标检测模块、行人属性识别模块、换装样本生成模块、换装行人再识别模块、步态识别模块和定位跟踪模块，本发明专利技术针对已有技术体系的松散性和效果不稳定的特点，将行人目标检测、基于GAN网的换装样本生成，换装行人再识别、行人属性识别、步态识别等技术模块有机结合，彼此配合，实现了对换装行人的识别、属性提取、跟踪定位等功能，并具有完整的系统架构和可视化界面。整的系统架构和可视化界面。整的系统架构和可视化界面。

【技术实现步骤摘要】
基于GAN和深度学习的换装行人再识别定位跟踪系统


[0001]本专利技术涉及的是一种信息安全领域的技术，具体是一种基于GAN和深度学习的换装行人再识别定位跟踪系统，旨在于提升换装情况下行人再识别的准确度，在实际情况下可大幅度提升长时间、跨设备、换装行人情况下行人身份分析、定位与跟踪的准确度，可提供详细的分析结果与记录。

技术介绍

[0002]视频监控系统越来越多地应用到如机场、地铁站、学校、大型购物中心、十字路口等公共场所当中，不仅可用于公共安全事件的预防、应急、取证和备案，也为事后的回溯与重建提供了数据基础。行人再识别技术作为信息安全领域的一个新兴研究热点，是智能视频监控领域最具挑战性的问题之一，它描述的是在多摄像头无重叠视域监控环境下，通过一系列的图像处理和模式识别技术，判定出现在某个摄像头中感兴趣的目标人物是否在其他摄像头中出现过。
[0003]由于监控视频的目标图像分辨率低，不同场景中存在着光照变化、视角变化、行人姿态变化、复杂背景变化、身体遮挡，以及不同摄像头的不同参数问题，都使得行人再识别技术遇到了很大的挑战。而且在目前的行人再识别领域，默认行人在不同摄像头下都统一着装，并未换装，而且统一的着装是行人再识别的重要判别依据。但在现实应用中，目标可能会出现换装的情况，利用现有的算法对换装行人进行检测，识别率较低。

技术实现思路

[0004]本专利技术针对现有技术存在的所述不足，提出一种基于GAN和深度学习的换装行人再识别定位跟踪系统，针对已有技术体系的松散性和效果不稳定的特点，将行人目标检测、基于GAN网的换装样本生成，换装行人再识别、行人属性识别、步态识别等技术模块有机结合，彼此配合，实现了对换装行人的识别、属性提取、跟踪定位等功能，并具有完整的系统架构和可视化界面。
[0005]本专利技术是通过以下技术方案实现的：
[0006]本专利技术涉及的一种基于GAN网和深度学习的对换装行人的再识别与定位跟踪系统，包括：行人目标检测模块、行人属性识别模块、换装样本生成模块、换装行人再识别模块、步态识别模块和定位跟踪模块，其中：行人目标检测模块从监控视频流中提取出行人的位置信息并提取出只包含一个行人的帧级图片，行人属性识别模块通过内置的神经网络经训练后提取出帧级图片中拥有预设行人属性特征的可能性，由此识别出帧级图片中行人所拥有的属性特征并存入数据库，换装样本生成模块基于数据库中已有的行人图片数据和行人属性数据对帧级图片进行换装换姿态处理，并得到样本扩充图片作为训练集以提高换装行人再识别模块的行人再识别的准确率；换装行人再识别模块对帧级图片进行再识别并得到该行人的身份数据，步态识别模块将帧级图片转化为一系列行人步态剪影并进行步态特征计算以识别出该行人的身份信息，经与换装行人再识别模块识别出的身份数据进行综
合，并使用综合的结果进行二次行人身份识别以提高识别的准确率，定位跟踪模块根据二次行人身份识别的结果和来自行人目标检测模块的已知的监控点中行人出现的时序，对行人的活动轨迹进行定位与跟踪。技术效果
[0007]本专利技术整体解决了现有技术无法长时间、跨设备条件下换装行人再识别的缺陷；与现有技术相比，本专利技术以历史监控视频数据作为输入，能够在短时间内定位指定行人并跟踪其轨迹,在不增加人工监管与硬件设备的条件下，即可对监控视频下的人员进行长时间、大范围、高可信度的定位与跟踪，显著提升了多视角、多装束情况下的换装行人的识别准确率，并能够进行行人轨迹分析与行人关系分析，且本专利技术识别效率较高，灵活性强，模型更新方便，各模块模型可根据使用情况定期进行强化训练，提高系统性能。
附图说明
[0008]图1为本专利技术系统逻辑结构框图；
[0009]图2为实施例步态识别模块测试结果示意图。
具体实施方式
[0010]本实施例涉及的一种基于GAN网和深度学习的对换装行人的再识别与定位跟踪系统，包括：行人目标检测模块、行人属性识别模块、换装样本生成模块、换装行人再识别模块、步态识别模块和定位跟踪模块，其中：行人目标检测模块从监控视频流中提取出行人的位置信息并提取出只包含一个行人的帧级图片，行人属性识别模块通过内置的神经网络经训练后提取出帧级图片中拥有预设行人属性特征的可能性，由此识别出帧级图片中行人所拥有的属性特征并存入数据库，换装样本生成模块基于数据库中已有的行人图片数据和行人属性数据对帧级图片进行换装换姿态处理，并得到样本扩充图片作为训练集以提高换装行人再识别模块的行人再识别的准确率；换装行人再识别模块对帧级图片进行再识别并得到该行人的身份数据，步态识别模块将帧级图片转化为一系列行人步态剪影并进行步态特征计算以识别出该行人的身份信息，经与换装行人再识别模块识别出的身份数据进行综合，并使用综合的结果进行二次行人身份识别以提高识别的准确率，定位跟踪模块根据二次行人身份识别的结果和来自行人目标检测模块的已知的监控点中行人出现的时序，对行人的活动轨迹进行定位与跟踪。
[0011]所述的换装行人再识别模块通过内置的深度神经网络经训练后计算出目标行人的身份特征向量值，并计算与数据库中保存的所有行人的特征向量值的距离，当该距离在设定的阈值范围内，则认为是同一个人。
[0012]所述的步态识别模块通过内置的深度神经网络经训练后计算出行人步态剪影的特征向量值，并计算与数据库中保存的所有行人的特征向量之间的距离，当该距离在设定的阈值范围内，则认为是同一个人。
[0013]所述的定位与跟踪，具体是指：系统部署完毕后，所分析的是来自各监控点监控区域内的历史监控视频，因而可以知晓每一段监控视频的监控点位置信息和拍摄视频的时间信息，当识别出视频中行人的身份信息后，便可以利用所知晓的监控点的位置信息，定位到行人出现的区域位置，再结合所知道的时间信息得到行人的行动轨迹。
[0014]所述的行人目标检测模块包括：数据处理单元、数据标记单元以及图像分割单元，其中：数据处理单元从视频数据库中读取的历史视频数据，数据处理单元与数据标记单元相连并传输初步处理后用于行人目标检测的图像数据，数据标记单元根据数据处理单元输出的行人坐标数据(包含左上、左下、右上、右下四个点)在原图像中进行裁剪处理得到行人图像，图像分割单元将分割后的行人图像作为其输出数据并分别输出至行人属性识别模块、换装样本生成模块和步态识别模块。
[0015]所述的初步处理是指：对于视频流中的每一帧图像，将图像转化为PILImage格式，按照最小尺寸为800像素、最大尺寸为1333像素规范图像大小，再转化为Tensor格式，进一步转化为BGR255格式，最后按照PIXEL_MEAN＝[102.9801,115.9465,122.7717]和PIXEL_STD＝[1.,1.,1.]参数进行归一化处理。并识别其中的行人，对每一个识别到的行人输出一个行人矩形框坐标(X1,Y1,X2,Y2)。将视频中每一帧包含的矩形框坐标作为该帧对应的数组[a1,a2,
…
]的一个成员a
i
＝(X
i1
,Y...

【技术保护点】

【技术特征摘要】
1.一种基于GAN网和深度学习的对换装行人的再识别与定位跟踪系统，其特征在于，包括：行人目标检测模块、行人属性识别模块、换装样本生成模块、换装行人再识别模块、步态识别模块和定位跟踪模块，其中：行人目标检测模块从监控视频流中提取出行人的位置信息并提取出只包含一个行人的帧级图片，行人属性识别模块通过内置的神经网络经训练后提取出帧级图片中拥有预设行人属性特征的可能性，由此识别出帧级图片中行人所拥有的属性特征并存入数据库，换装样本生成模块基于数据库中已有的行人图片数据和行人属性数据对帧级图片进行换装换姿态处理，并得到样本扩充图片作为训练集以提高换装行人再识别模块的行人再识别的准确率；换装行人再识别模块对帧级图片进行再识别并得到该行人的身份数据，步态识别模块将帧级图片转化为一系列行人步态剪影并进行步态特征计算以识别出该行人的身份信息，经与换装行人再识别模块识别出的身份数据进行综合，并使用综合的结果进行二次行人身份识别以提高识别的准确率，定位跟踪模块根据二次行人身份识别的结果和来自行人目标检测模块的已知的监控点中行人出现的时序，对行人的活动轨迹进行定位与跟踪。2.根据权利要求1所述的基于GAN网和深度学习的对换装行人的再识别与定位跟踪系统，其特征是，所述的再识别是指：换装行人再识别模块通过内置的深度神经网络经训练后计算出目标行人的身份特征向量值，并计算与数据库中保存的所有行人的特征向量值的距离，当该距离在设定的阈值范围内，则认为是同一个人；该换装行人再识别模块包括：模型训练单元、数据读取单元、模型处理单元和匹配结果单元，其中：模型训练单元读取换装样本生成模块生成的数据集中的图片，并进行相应的预处理后以前述数据集中的训练集为训练集对再识别模型进行训练，数据读取单元读取经由行人目标检测获取的行人图片，通过行人数据库保存并输出至模型处理单元，模型处理单元与匹配结果单元相连并输出经过模型处理后的图片特征，匹配结果单元的输出作为本模块的输出数据，与数据库中的特征进行匹配，输出行人图片的识别结果。3.根据权利要求1所述的基于GAN网和深度学习的对换装行人的再识别与定位跟踪系统，其特征是，所述的步态识别模块通过内置的深度神经网络经训练后计算出行人步态剪影的特征向量值，并计算与数据库中保存的所有行人的特征向量之间的距离，当该距离在设定的阈值范围内，则认为是同一个人；该步态识别模块包括：数据读取单元、模型训练单元、模型处理单元和匹配结果单元，其中：数据读取单元根据来自行人再识别模块的行人轮廓信息将彩色行人图片转换为背景为黑色行人人体为白色的步态剪影图构成数据集，输出至模型训练单元，模型训练单元读取步态剪影数据集中的图片，并进行相应的预处理后随机选取步态剪影图片系列构成训练集对步态识别模型进行训练，并将训练得到的步态识别模型输出至模型处理单元，模型处理单元根据训练后的步态识别模型对来自数据读取单元的信息进行步态提取，得到步态特征并输出至匹配结果单元，匹配结果单元将通过计算模型输出的步态特征向量与系统数据库中的行人步态特征向量间的距离进行匹配得到步态识别结果。4.根据权利要求1所述的基于GAN网和深度学习的对换装行人的再识别与定位跟踪系统，其特征是，所述的行人目标检测模块包括：数据处理单元、数据标记单元以及图像分割单元，其中：数据处理单元从视频数据库中读取的历史视频数据，数据处理单元与数据标记单元相连并传输初步处理后用于行人目标检测的图像数据，数据标记单元根据数据处理单
元输出的行人坐标数据在原图像中进行裁剪处理得到行人图像，图像分割单元将分割后的行人图像作为其输出数据并分别输出至行人属性识别模块、换装样本生成模块和步态识别模块。5.根据权利要求4所述的基于GAN网和深度学习的对换装行人的再识别与定位跟踪系统，其特征是，所述的数据标记单元对在视频中标出类别为行人的检测物体并基于边界框分支与类别分支的结果，在边界框分支与类别分支后加入了一条时空接触关系分支；该数据处理单元内部最后包含边界框回归分支、类别回归分支与实例分割分支，图像分割单元根据边界框回归分支与类别回归分支的结果，通过行人接触关系判别公式判定同时出现在视频中的行人两两之间是否存在接触关系，具体为：S＝A∧(B∨C)，其中：S为是否存在接触关系，A为二者高度比例是否大于0.7，B为二者是否有重叠，C为二者距离是否小于一人宽，∧为“并”逻辑操作，∨为“或”逻辑操作。6.根据权利要求1所述的基于GAN网和深度学习的对换装行人的再识别与定位跟踪系统，其特征是，所述的行人属性识别模块包括：数据读取单元、模型训练单元和模型处理单元，其中：数据读取单元、模型训练单元与模型处理单元相连并分别输入读取的图片数据和输出训练后的属性提取模型，模型处理单元采用训练后的属性提取模型，从输入数据中提取出的行人属性数据并输出至JSON文件中；所述的属性提取模型是指：使用DeepMAR算法，利用PETA数据集中的训练集训练后的模型；所述的训练是指：利用PETA提供的数据集和相应的属性信息，输入至DeepMAR算法中，利用DeepMAR本身的神经网络架构，通过比较模型对于PETA数据集中的图片的识别结果和PETA提供的相应的属性信息，对模型的参数进行优化，从而实现模型的训练；所述的行人属性数据包括：行人的年龄、性别，服装颜色、款式，头发的颜色、长短以及是否携带有配饰或其他物件等属性。7.根据权利要求1所述的基于GAN网和深度学习的对换装行人的再识别与定位跟踪系统，其特征是，所述的换装样本生成模块包...

【专利技术属性】
技术研发人员：郭捷，曹昊天，肖鹏宇，袁鑫，兰焜耀，邱卫东，黄征，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：