基于深度相互学习的跨域行人重识别方法及系统技术方案

本发明专利技术涉及一种基于深度相互学习的跨域行人重识别方法及系统，该方法包括：将初始网络在源域中预训练得到基础网络；构建三分支相互学习网络框架并在目标域中训练，每个分支包括主网络PNet、平均网络Mean Net和难样本筛选分类器FNet；在每个分支中，FNet将样本由易到难地输入PNet训练，同时FNet采用三元组损失训练；PNet得到FNet判断的简单样本后传输给Mean Net，并判断样本对应的软伪标签；当任意两个分支由Mean Net提取的样本特征之间的余弦相似度小于设定阈值时，将该样本认定为高置信度样本并用其更新第三分支中网络；迭代训练结束后，选择三个分支中性能最好的Mean Net用于跨域行人重识别。该方法及系统有利于提高跨域行人重识别的准确性。人重识别的准确性。人重识别的准确性。

【技术实现步骤摘要】
基于深度相互学习的跨域行人重识别方法及系统


[0001]本专利技术属于计算机视觉
，具体涉及一种基于深度相互学习的跨域行人重识别方法及系统。

技术介绍

[0002]行人重识别技术是计算机视觉、人工智能等学科的研究热点。行人重识别主要用于判断在不同的时间、不同的摄像机下拍摄的行人图片是否为同一行人。随着数字城市与智慧城市的发展，行人重识别已经被广泛应用于视频监控、刑侦安保、智能安防等领域。
[0003]行人重识别的目的是从海量的视频、图片数据中准确地找到特定行人，使计算机能替代人工快速准确的在冗杂的监控视频、图片中检索到目标行人。随着深度学习的广泛应用，基于深度学习的行人重识别方法为解决行人重识别中常见的挑战带来了新的思路。现有的基于深度学习的行人重识别方法主要分为两类：基于监督学习的行人重识别方法和基于无监督学习的行人重识别方法。基于监督学习的行人重识别方法使用数据集中图片的真实标签作为监督信号，输入的图片经过卷积神经网络的卷积与池化后，提取出其特征表示，并通过度量学习的方式优化模型，最终在测试集中测试。而基于无监督学习的行人重识别方法要求在输入数据都是无标签的情况下，训练出较好的模型性能，进而识别出目标行人。相比于基于监督学习的行人重识别方法，基于无监督学习的行人重识别方法不需要对训练数据进行标注，使用无标签数据直接训练行人重识别模型，更符合现实场景中行人重识别方法的要求。
[0004]Deepreid(Li W,Zhao R,Xiao T,et al.Deepreid:Deep filter pairing neural network for person re
‑
identification.Proceedings of the IEEE Computer Vision Pattern Recognition,2014,pp.152
‑
159.)和PAN(Zheng Z,Zheng L,Yang Y.Pedestrian alignment network for large
‑
scale person re
‑
identification.Proceedings of the IEEE Transactions on Circuits and Systems for Video Technology,2017,29(10):3037
‑
3045.)是属于基于监督学习的行人重识别方法，通过设计深度神经网络架构提取出更有辨别性的行人特征，并通过特征对齐匹配不同的行人图片。这两种基于监督学习的行人重识别方法需要大量的有标签数据对行人重识别模型训练，这就需要耗费大量人力物力对行人图片进行标记，在现实场景中往往难以实现。而本专利技术是属于基于无监督学习的行人重识别方法，利用无标签图片数据对模型训练，使用聚类为无标签行人图片预测伪标签，并利用这些伪标签训练模型，使模型达到更优的识别性能。
[0005]BUC(Lin Y,Dong X,Zheng L,et al.Abottom
‑
up clustering approach to unsupervised person re
‑
identification.Proceedings of the AAAI Conference on Artificial Intelligence,2019,pp.8738
‑
8745.)和DIMN(Song J,Yang Y,Song Y Z,et al.Generalizable person re
‑
identification by domain
‑
invariant mapping network.Proceedings of the IEEE Computer Vision Pattern Recognition,,2019,pp.719
‑
728.)属于基于无监督学习的行人重识别方法，使用聚类为无标签图片预测伪标
签，并通过设计的网络架构辅助聚类，完成行人重识别模型的训练。BUC方法注意到了行人图片特征的相似性和多样性的平衡，设计了一种新的自底向上的聚类方法进行无监督学习，首先经过卷积神经网络模型提取行人特征并聚类，然后在整个数据集中合并聚类，最后根据聚类的结果更新网路模型。DIMM方法在无监督学习的基础上，对跨域行人重识别进行研究，即使用经过源域预训练后的模型，在目标域中利用无标签图片微调模型。该方法提出一种领域不变映射网络，学习行人图片和身份类别之间的映射关系，以减少源域和目标域之间的差异，并在目标域中得到良好的识别能力。以上方法虽然利用无标签数据训练并在目标数据集中获得了良好的精度，但并未注意到聚类过程中噪声标签对模型训练的影响。
[0006]在深度学习方法中，单一网络在训练时往往对噪声的鲁棒性较差。面对数据分布不平衡的数据集时，单一网络为无标签数据预测伪标签时，难样本容易被预测成错误的伪标签，容易形成噪声标签，从而影响后续的训练。本专利技术使用多网络相互学习的训练方式，可以通过多个网络协同训练，使得网络在训练阶段相互更新，从而增加网络处理噪声标签的能力。但是，传统的协同学习方式由两个模型相互更新，经过多轮迭代后会表现出趋同性，从而减少了模型对噪声标签的判断能力。
[0007]此外，在跨域行人重识别方法中，将在一个数据集中训练好的模型直接用于另一个数据集往往会出现精度大规模下降。原因之一是无监督学习模型的泛化性较差，因此模型不能对不同数据集鲁棒。另一个原因是，行人重识别的数据集由于拍摄时间、地点、角度等不同，并且不同数据集之间样本的特征分布是不同的，导致不同的数据集存在着域间隙，影响行人重识别模型的性能。

技术实现思路

[0008]本专利技术的目的在于提供一种基于深度相互学习的跨域行人重识别方法及系统，该方法及系统有利于提高跨域行人重识别的准确性。
[0009]为实现上述目的，本专利技术采用的技术方案是：一种基于深度相互学习的跨域行人重识别方法，包括以下步骤：
[0010]步骤A、将初始网络在源域中预训练，得到基础网络，并将基础网络用于目标域的训练和微调；
[0011]步骤B、构建三分支相互学习网络模型并在目标域中训练，所述三分支相互学习网络模型的每个分支包括一个主网络PNet、一个平均网络Mean Net和一个难样本筛选分类器FNet；
[0012]步骤C、在每个分支中，FNet将样本由易到难地输入PNet训练，同时FNet采用三元组损失训练；
[0013]步骤D、每个分支中的PNet得到FNet判断的简单样本后，将这些样本传输给Mean Net，并判断样本对应的软伪标签；
[0014]步骤E、三个分支中由Mean Net提取的样本特征之间进行余弦相似性度量，当任意两个分支之间的余弦相似度小于设定的阈值时，将该样本认定为高置信度样本，并用此样本更新第三分支中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相互学习的跨域行人重识别方法，其特征在于，包括以下步骤：步骤A、将初始网络在源域中预训练，得到基础网络，并将基础网络用于目标域的训练和微调；步骤B、构建三分支相互学习网络模型并在目标域中训练，所述三分支相互学习网络模型的每个分支包括一个主网络PNet、一个平均网络Mean Net和一个难样本筛选分类器FNet；步骤C、在每个分支中，FNet将样本由易到难地输入PNet训练，同时FNet采用三元组损失训练；步骤D、每个分支中的PNet得到FNet判断的简单样本后，将这些样本传输给Mean Net，并判断样本对应的软伪标签；步骤E、三个分支中由Mean Net提取的样本特征之间进行余弦相似性度量，当任意两个分支之间的余弦相似度小于设定的阈值时，将该样本认定为高置信度样本，并用此样本更新第三分支中的网络；步骤F、按步骤C、D、E进行迭代，直至所有样本训练结束；选择三个分支中性能最好的Mean Net在测试集中测试，测试通过后用得到的Mean Net进行跨域行人重识别。2.根据权利要求1所述的基于深度相互学习的跨域行人重识别方法，其特征在于，所述步骤A中，将源域中的数据表示为目标域上的数据表示为其中和分别表示源域中当前批次的第i个训练数据和其对应的真实标签；则表示目标域中当前批次的第i个训练数据，在目标域中的数据没有提供其对应的真实标签；N
s
和N
t
分别表示源域和目标域中训练样本数量；选择ResNet
‑
50为初始网络，定义初始网络参数为θ，在给定训练数据集S的情况下，网络将输入的样本转化为特征表示其中f(
·
|θ)是网络的特征提取函数；通过分类损失和三元组损失训练网络，以提高网络的判别能力和自适应能力；其中，分类损失表示为：其中，表示输入的图片属于真实标签的概率；三元组损失表示为：其中，对于锚点来说，表示最不相似的正样本；表示最相似的负样本；m是三元组损失的余量值；和分别表示源域中正样本的特征、负样本的特征和锚点样本的特征；max(
·
)表示选择最大值；||
·
||2表示L2范数；在每一个训练最小批次中，选定一个锚点后，与锚点属于同一类的样本属于正样本，反之则为负样本；当正样本与锚点的距离大于负样本与锚点的距离加余量值m时，损失函数值大于零，进而更新基础网络的参数θ。3.权利要求1所述的基于深度相互学习的跨域行人重识别方法，其特征在于，所述步骤
B中，对目标域中无标签图片进行随机噪声处理，并将图片裁剪成256像素
×
128像素，分别输入所述三分支相互学习网络模型的三个分支训练主网络、平均网络和难样本筛选分类器；在目标域训练初始阶段，每个分支的各网络参数一致，但随着训练过程中网络输入样本不同，网路参数逐渐表现出差异。4.权利要求1所述的基于深度相互学习的跨域行人重识别方法，其特征在于，所述步骤C的实现方法为：难样本筛选分类器FNet通过DBSCAN聚类方法对输入样本进行筛选，在聚类空间中距离簇中心近的样本为简单样本，并将这些样本输入PNet更新其网络参数，同时不直接丢弃困难样本，而是等待下轮迭代时再次判断其难易程度；对于输入样本难易程度的判断，使用Jaccard距离度量每个样本点到聚类中心的距离；首先计算目标域样本间的成对相似性矩阵M
ij
，计算公式表示为：其中，M
ij
是样本特征表示和之间的相似性矩阵，使用样本特征来计算样本和之间的相似性，表示样本的k
‑
倒数集；通过样本成对相似性矩阵计算Jaccard距离，定义为：通过计算相似性矩阵M
ij
和Jaccard距离利用DBSCAN聚类方法将目标域中的无标签样本分为简单样本和困难样本；简单样本是在聚类过程中距离聚类中心更近的样本，这类样本预测的伪标签也越准确；难样本筛选分类器FNet使用三元组损失更新，表示为：其中，N
t
表示目标域中训练样本数量；分别表示目标域中的锚点样本，正样本和负样本；f(
·
)表示特征提取函数，将输入的目标域图片转化为特征表示；n表示三元组损失余量。5.权利要求1所述的基于深度相互学习的跨域行人重识别方法，其特征在于，所述步骤D的实现方法为：无标签数...

【专利技术属性】
技术研发人员：陈思，田梓民，王大寒，朱顺痣，吴芸，
申请(专利权)人：厦门理工学院，
类型：发明
国别省市：