一种基于生成对抗网络进行两次浅层特征融合的行人重识别方法技术

行人重识别也称作行人再识别，是利用计算机视觉技术判断图像或者视频中是否存在特定行人的技术，即给定一个行人图像检索跨设备下的该行人图像，故行人重识别也可以看作是图像检索问题。由于生成对抗网络(GAN)取得了巨大的进步，一些研究人员试图使用GAN生成新的辅助图片，以进行数据集的扩充或者生成特定的图片。本发明专利技术提出了一种新颖的利用生成图的方法，可以有效地提高行人重识别的准确率。方法中，利用两次特征融合网络将生成图的有用信息补充进原图，丰富特征信息。并且设计了一种对应的网络结构提取特征信息用以确定行人身份。测试数据集分别采用Market‑1501和DukeMTMC‑reid数据集，与同类型算法相比本发明专利技术的准确率获得了一定的提升。

【技术实现步骤摘要】
一种基于生成对抗网络进行两次浅层特征融合的行人重识别方法
本专利技术涉及基于深度学习中的行人重识别，特别是一些基于生成对抗网络生成辅助图片以提高行人重识别准确率的方法。
技术介绍
行人重识别也称作行人再识别，是利用计算机视觉技术判断图像或者视频中是否存在特定行人的技术，即给定一个行人图像检索跨设备下的该行人图像，故行人重识别也可以看作是图像检索问题。行人重识别有着许多实际的应用，例如刑事侦查、视频监控以及行为理解等。目前，行人重识别的准确性主要取决于图片中行人的外观的视觉信息，所以一些不利因素包括视角不同、姿势差异大、亮度不同和遮挡等会严重影响行人重识别的性能。随着最近几年深度卷积神经网络的发展，基于深度卷积神经网络的行人重识别算法的性能越来越好，行人重识别也吸引了越来越多研究者的关注。当前基于深度卷积神经网络的行人重识别一般使用GoogleNet，ResNet，DensNet等网络作为骨干网络来提取行人图像的特征，然后进行端到端的学习。另外，由于生成对抗网络(GAN)取得了巨大的进步，一些研究人员试图使用GAN生成新的辅助图片本文档来自技高网...

【技术保护点】
1.一种二次融合特征的网络结构用于图像处理，其特征在于，包括如下步骤：/n1)生成辅助图片过程中，将每一张图片结合指定的四个姿势，生成对应的具有同一外貌特征但姿势指定的四张图片；/n2)设计注意力机制模块生成权重描述符，包括最大池化层、卷积层和激活层；/n3)附加了权重描述符的辅助图片通过卷积层进行特征挑选，生成第一次融合结果；/n4)为了将生成图中的信息补充进原图，使用特征叠加操作融合原图和辅助图特征，公式如下：/nf

【技术特征摘要】
1.一种二次融合特征的网络结构用于图像处理，其特征在于，包括如下步骤：
1)生成辅助图片过程中，将每一张图片结合指定的四个姿势，生成对应的具有同一外貌特征但姿势指定的四张图片；
2)设计注意力机制模块生成权重描述符，包括最大池化层、卷积层和激活层；
3)附加了权重描述符的辅助图片通过卷积层进行特征挑选，生成第一次融合结果；
4)为了将生成图中的信息补充进原图，使用特征叠加操作融合原图和辅助图特征，公式如下：
fSF＝αIx+(1-α)fFF


2.一种孪生网络模型用以提取特征进行行人重识别，其特征在于，包括如下步骤：
1)特征网络模型由两个基于Resnet50的支路组成(子网络A和子...

【专利技术属性】
技术研发人员：张涛，孙星，李璇，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12