基于多尺度生成对抗网络的遮挡行人重识别方法技术

基于多尺度生成对抗网络的遮挡行人重识别方法，涉及计算机视觉技术。准备行人图像训练集；设计和训练一个多尺度生成对抗网络，该网络包括多尺度生成器和判别器两部分，其中，多尺度生成器能够对随机遮挡区域进行去遮挡操作，生成高质量的重构图；而判别器能够区分输入图像是真实图像还是生成图像；利用训练好的多尺度生成器产生扩充的行人图像训练集；设计和训练一个分类识别网络，该网络用于对输入的行人图像进行身份分类；利用训练好的分类识别网络提取行人图像的特征并进行相似度匹配。

Recognition of Occluded Pedestrians Based on Multiscale Generating Countermeasure Network

【技术实现步骤摘要】
基于多尺度生成对抗网络的遮挡行人重识别方法
本专利技术涉及计算机视觉技术，尤其是涉及基于多尺度生成对抗网络的遮挡行人重识别方法。
技术介绍
行人重识别(PersonRe-identification)，是指在多个非重叠摄像头拍摄的场景下，给定一幅查询行人图像，从大规模行人图像库中检索出具有相同身份的行人图像，是一类特殊的图像检索任务。行人重识别广泛应用于视频监控、智能安保等领域。遮挡问题是实际场景中影响行人重识别性能的一个重要因素，比如行人可能被其他的行人遮挡，或者被一些障碍物遮挡，比如车辆、交通标志、墙壁等。针对遮挡场景下的行人重识别问题，一些研究学者提出使用随机遮挡样本作为训练样本，以增强深度神经网络对于遮挡行人图像的识别能力。例如，Zhuo等人(J.Zhuo,Z.Chen,J.Lai,G.Wang.Occludedpersonre-identification[C].IEEEInternationalConferenceonMultimediaandExpo,2018,1-6.)利用随机遮挡图像和非遮挡图像，并联合身份分类损失和遮挡/非遮挡的二分类损失训练一个深度神经网络。该网络不仅可以识别行人的身份，同时可以区分输入图像是属于遮挡图像数据分布还是非遮挡图像数据分布。这些方法利用随机遮挡样本增加了训练样本的多样性，提高了模型对于遮挡场景下行人重识别算法的性能。上述方法学习到的行人特征表示，不可避免地会包含一些由于遮挡引入的噪音特征。因此，如何设计合适的特征选择和过滤策略对于遮挡行人重识别问题是非常重要的。通常的做法是在特征比对的过程中，降低遮挡区域特征的权重。例如，Xu等人(J.Xu,R.Zhao,F.Zhu,H.Wang,W.Ouyang.Attention-awarecompositionalnetworkforpersonre-identification[C].ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2018,2119–2128)提出注意力引导复合网络(Attention-AwareCompositionalNetwork，AACN)，利用身体关键点学习各个身体部件的注意图，从而得到更精确的部件区域。同时，AACN利用部件的注意图计算该部件区域的可视性分数(visibilityscores)，用于衡量部件的遮挡情况。基于该可视性分数，不断调整各个部件特征在特征融合过程中的权重。这些方法需要借助额外的姿态标注信息。当姿态估计不准确时，行人重识别的性能会严重下降。最近，为了有效处理遮挡场景下的行人重识别问题，Yang等人(WanxiangYang,YanYan,SiChen.Adaptivedeepmetricembeddingsforpersonre-identificationunderocclusions.Neurocomputing,2019,340:125-132.)提出了利用长短期记忆网络(LongShort-TermMemory，LSTM)学习行人图像不同部件区域之间的空间关系，从而自动过滤由于遮挡引入的噪音。此外，受益于生成对抗网络(I.Goodfellow,J.Pouget-Abadie,M.Mirza,B.Xu,D.Warde-Farley,S.Ozair,A.Courville,Y.Bengio.Generativeadversarialnets[C].ProceedingsoftheAdvancesinNeuralInformationProcessingSystems,2014,2672–2680.)在不同计算机视觉任务上的成功，已经有很多研究者提出了基于生成对抗网络的行人重识别方法。代表性的工作有(Z.Zhong,L.Zheng,Z.Zheng,S.Li,Y.Yang.Camerastyleadaptationforpersonreidentification[C].ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2018,5157–5166.；J.Liu,B.Ni,Y.Yan,P.Zhou,S.Cheng,J.Hu.Posetransferrablepersonreidentification[C].ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2018,4099–4108.；X.Qian,Y.Fu,T.Xiang,W.Wang,J.Qiu,Y.Wu,Y.Jiang,X.Xue.Pose-normalizedimagegenerationforpersonre-identification[C].ProceedingsoftheEuropeanConferenceonComputerVision,2018,650–667.；W.Deng,L.Zheng,Q.Ye,G.Kang,Y.Yang,J.Jiao.Image-imagedomainadaptationwithpreservedself-similarityanddomain-dissimilarityforpersonre-identification[C].ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2018,994–1003)。这些方法借助生成对抗网络强大的图像生成能力，可以生成多样的新的图像数据，从而增加有标签数据,有效提高模型在测试集上的泛化能力。例如，Zhong等人(Z.Zhong,L.Zheng,Z.Zheng,S.Li,Y.Yang.Camerastyleadaptationforpersonreidentification[C].ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2018,5157–5166)提出摄像机风格自适应方法，可以作为一种数据增强方法来减少不同摄像机风格之间的差异。具体来说，摄像机风格自适应方法使用CycleGAN(J.-Y.Zhu,T.Park,P.Isola,A.A.Efros.Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks[C].ProceedingsoftheIEEEInternationalConferenceonComputerVision,2017,2223–2232)，在保持行人身份不变的情况下,学习不同摄像机视角的图像对之间的迁移关系。从而可以将有标记的行人图像风格迁移到其他的摄像机视角，添加到原始训练集中起到数据增强的作用。Qian等人(X.Qian,Y.Fu,T.Xiang,W.Wang,J.Qiu,Y.Wu,Y.Jiang,X.Xue.Pose-normalizedimagegenera本文档来自技高网...

【技术保护点】
1.基于多尺度生成对抗网络的遮挡行人重识别方法，其特征在于包括以下步骤：1)准备行人图像训练集；2)设计和训练一个多尺度生成对抗网络，该网络包括多尺度生成器和判别器两部分，其中，多尺度生成器能够对随机遮挡区域进行去遮挡操作，生成高质量的重构图；而判别器能够区分输入图像是真实图像还是生成图像；3)利用训练好的多尺度生成器产生扩充的行人图像训练集；4)设计和训练一个分类识别网络，该网络用于对输入的行人图像进行身份分类；5)利用训练好的分类识别网络提取行人图像的特征并进行相似度匹配。

【技术特征摘要】
1.基于多尺度生成对抗网络的遮挡行人重识别方法，其特征在于包括以下步骤：1)准备行人图像训练集；2)设计和训练一个多尺度生成对抗网络，该网络包括多尺度生成器和判别器两部分，其中，多尺度生成器能够对随机遮挡区域进行去遮挡操作，生成高质量的重构图；而判别器能够区分输入图像是真实图像还是生成图像；3)利用训练好的多尺度生成器产生扩充的行人图像训练集；4)设计和训练一个分类识别网络，该网络用于对输入的行人图像进行身份分类；5)利用训练好的分类识别网络提取行人图像的特征并进行相似度匹配。2.如权利要求1所述基于多尺度生成对抗网络的遮挡行人重识别方法，其特征在于在步骤1)中，所述准备行人图像训练集的具体步骤为：1.1原始行人图像训练集表示为相应的身份标签为其中，m为训练样本数量且为自然数；xi和yi(1≤yi≤C)表示第i个训练样本对应的行人图像和身份标签，C表示训练样本集包含的身份类别数且为自然数；非遮挡图像训练集表示为：相应的身份标签为其中，n为非遮挡的行人图像训练样本数量且为自然数，这些非遮挡行人图像是从原始行人图像训练集中，人工筛选的不包含遮挡场景的行人图像；1.2遮挡图像训练集表示为zi表示第i个训练样本对应的遮挡行人图像，在每一张非遮挡行人图像xi中，随机选择一个与xi面积比例s为0.3的矩形框，将xi在该矩形框内的像素值替换为(0,255)内的随机值，从而得到遮挡行人图像zi；该遮挡行人图像训练集的身份标签与非遮挡行人图像训练集的身份标签保持一致，即为Y。3.如权利要求1所述基于多尺度生成对抗网络的遮挡行人重识别方法，其特征在于在步骤2)中，所述设计和训练一个多尺度生成对抗网络的具体步骤为：2.1设计一个多尺度生成对抗网络，包括设计一个多尺度生成器和一个判别器；2.1.1构建多尺度生成器，多尺度生成器包括两个阶段的生成器，第一个阶段是低分辨率生成器E，输入的是小尺度的遮挡图像，该低分辨率生成器的主要目的是用于粗略地重构去遮挡的行人图像，第二个阶段是高分辨率生成器G，输入的是大尺度的遮挡图像，该高分辨率生成器的主要目的是重构高分辨率的去遮挡行人图像；在G的网络结构中，融合E输出去遮挡的行人图像之前的特征，从而生成高分辨率图像，该做法类似密集连接(denseconnection)，下一层融合上一层的特征输出，从而有效克服生成对抗网络训练过程中的过拟合问题；小尺度采用的图像大小为128×64×3，大尺度采用的图像大于为256×128×3；第一个阶段的生成器E，包括两个卷积层、三个残差层、两个反卷积层和最后卷积层；所述两个卷积层的卷积核大小分别为7×7、3×3，特征图数量分别为64、128；所述三个残差层中的每个残差层包括两个卷积层和残差连接，卷积核大小均为3×3，特征图数量均为128；所述两个反卷积层的卷积核大小均为3×3，特征图数量分别为128、64；所述最后卷积层的卷积核大小为3×3，特征图数量均为3；第一阶段中的所有卷积层随后都包含一个实例规范化层和激活层，除了最后卷积层使用Tanh激活函数，其他卷积层均使用ReLU激活函数；第二个阶段的生成器G，包括三个卷积层、九个残差层、三个反卷积层和最后卷积层；所述三个卷积层的卷积核大小分别为7×7、3×3、3×3，特征图数量分别为64、128、256；所述九个残差层中的每个残差层包括两个卷积层和残差连接，卷积核大小均为3×3，特征图数量均为256；所述三个反卷积层的卷积核大小均为3×3，特征图数量分别为256、128、64；所述最后卷积层的卷积核大小为3×3，特征图数量均为3；类似第一个阶段的生成器E，第二个阶段的生成器G的每个卷积层随后也包含一个实例规范化层和激活层；2.1.2构建判别器，判别器的输入图像大小为256×128×3，输出是一个大小为30×14×1的特征图，用于表示输入图像是属于真实的训练图像的概率值，所述...

【专利技术属性】
技术研发人员：严严，杨婉香，王菡子，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35