一种基于相互分歧学习的域自适应行人重识别方法技术

本发明专利技术公开了一种基于相互分歧学习的域自适应行人重识别方法，包括以下步骤：准备行人数据集；在源域数据集上进行预训练，在目标域数据集上提取图片的特征向量；对目标域数据集的图像进行基于密度的聚类，将簇的编号作为伪标签；使用对抗性的策略将离群点加入到训练样本中；将已聚类的样本和离群点混合，一起送入网络，采用相互分歧学习来校正伪标签的噪声，将待查询的行人图像输入到训练好的行人重识别模型中，得到待识别的行人特征向量，并将它与候选库中的属性特征进行相似度比较并排序，得到行人重识别的结果。本发明专利技术缩小了源域和目标域之间的分布差异，有效地利用源域的知识，最终本发明专利技术的框架能学习到具有鲁棒性和鉴别性的特征。别性的特征。别性的特征。

【技术实现步骤摘要】
domain adaptive person re
‑
identification,”in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2020,pp.9021
–
9030.

技术实现思路

[0010]为了解决以上方案的不足，本专利技术的目的是提出一种基于相互分歧学习的域自适应行人重识别方法，以缩小源域和目标域之间的分布差异。
[0011]为实现上述目的，本专利技术采用的技术方案为：
[0012]一种基于相互分歧学习的域自适应行人重识别方法，包括以下步骤：
[0013]步骤S1，准备行人数据集，行人数据集包括有标签的源域数据集和无标签的目标域数据集；
[0014]步骤S2，在源域数据集上进行预训练，在目标域数据集上提取图片的特征向量；
[0015]步骤S3，对目标域数据集的图像进行基于密度的聚类，将簇的编号作为伪标签；
[0016]步骤S4，使用对抗性的策略将离群点加入到训练样本中；
[0017]步骤S5，将步骤S3得到已聚类的样本和步骤S4得到的离群点混合，一起送入网络，采用相互分歧学习来校正伪标签的噪声，将待查询的行人图像输入到训练好的行人重识别模型中，得到待识别的行人特征向量，并将它与候选库中的属性特征进行相似度比较并排序，得到行人重识别的结果。
[0018]所述步骤S2中，利用ResNet
‑
50模型在源域数据集上进行有监督的预训练，然后用预训练的模型来初始化训练目标域数据集，提取目标域数据集中图片的特征。
[0019]所述步骤S2中，使用预训练的模型进行初始化，并且去除ResNet
‑
50模型的最后一个分类层；在目标域数据集上提取图片的特征向量表示为X＝{x1,x2,...,x
N
}，N是数据集中样本图片的数目，每个x都是一个2048维的特征向量。
[0020]所述步骤S2中，使用的损失函数为交叉熵损失和三元组损失对预训练后的模型进行优化。
[0021]所述步骤S3包括：
[0022]步骤S31，计算目标域数据集中每张图像与其它所有图像之间的距离；
[0023]步骤S32，对每张图像之间的距离使用基于密度的聚类算法(DBSCAN)，将高密度区域中的样本分组为簇，并将低密度区域中的样本保持为离群点；
[0024]步骤S33，对于已经聚类为簇的图像，使用它们所在的簇的编号作为它们的伪标签，然后对伪标签进行优化训练。
[0025]所述步骤S4中，使用一个额外的辅助网络，先将部分已聚类的图像送入辅助网络中进行学习，这样辅助网络就能获得聚类样本的普遍特征；然后将离群点送入辅助网络中，这样就能够提取出一些小损失的离群点。
[0026]所述步骤S5中，采用相互分歧学习来纠正伪标签，对伪标签的训练和优化交替进行：在训练的早期阶段，通过输入相同的图像但分别进行随机擦除，裁剪和翻转以及进行不同的参数初始化的方式来维持两个网络的差异；在训练的中期和后期，采用分歧策略来减缓两个网络达成共识的速度，并保持两个网络之间的持续分歧；执行每个网络以进行自己的预测，并选择两个网络之间存在预测差异的样本；基于这些样本，每个网络都进一步训练了这些分歧样本并更新了其参数。
[0027]所述步骤S5中，为每个对等网络提出基于动量的移动平均模型。
[0028]本专利技术采用以上技术方案与现有技术相比，具有以下有益效果：
[0029](1)本专利技术提出了一种基于相互分歧学习的无监督域自适应行人重识别方法，缩小了源域和目标域之间的分布差异，有效地利用源域的知识，最终本专利技术的框架能学习到具有鲁棒性和鉴别性的特征。
[0030](2)本专利技术采用对抗性策略逐步将聚类结果中的离群值附加到训练过程中，从而增加了训练样本的多样性和可靠性。
[0031](3)在三个大型数据集上的实验结果证明了本专利技术提出的框架与其他最新方法相比的优越性。
附图说明
[0032]图1为本专利技术提出的一种基于相互分歧学习的域自适应行人重识别的流程图。
具体实施方式
[0033]下面对本专利技术做更进一步的解释。
[0034]如图1所示，本专利技术的一种基于相互分歧学习的域自适应行人重识别方法，包括如下步骤：
[0035]步骤1，数据集的准备及预处理：
[0036]数据集包括有完整标注信息的源域数据集和不使用任何手工标注信息的目标域数据集。
[0037]将行人重识别研究领域常用的三个公开数据集Market
‑
1501、DukeMTMC
‑
ReID、MSMT17作为本次训练模型的数据集。Market
‑
1501该数据集包含来自6个不同摄像机的1501个行人和32688张带标签的图像。在所有图像中，将751个行人的12936张图像用于训练，将另外750个行人的3368个图像用于查询，和将750个身行人的19732张图像用作gallery图库。训练图像和图库图像之间的身份是不相交的。DukeMTMC
‑
ReID数据集由从8个摄像机在室外捕获的视频组成，其中包含1404个行人和36411张有标签图像，其中训练集有702个行人的16522张图像，用于图库的有17661张图像和用于查询的有2228张图像。MSMT17数据集是由15个摄像机拍摄的最具挑战性的数据集，其中包含126441张4101个行人的图像。
[0038]步骤2：利用在行人重识别领域特征提取效果最好的模型ResNet
‑
50来在源域数据集上进行预训练并且提取目标域样本的特征。在有完整标签信息的源域数据集上进行有监督的预训练，然后用预训练的模型来初始化训练目标域数据集。具体而言，在源域数据集Market1501上进行有监督的训练，使用交叉熵损失和三元组损失来优化网络，最终得到一个预训练好的模型。然后将该模型用作目标域数据集学习的初始模型，并且去除ResNet
‑
50最后一个分类层；将无标签的源域数据集送入预训练好的模型中，提取每张图片的特征向量；样本特征表示为X＝{x1,x2,...,x
N
}，N是数据集中样本图片的数目，每个x都是一个2048维的特征向量。
[0039]步骤3，对于步骤2中每张图像的特征向量，计算各个图像之间的距离，然后对距离使用基于密度的聚类算法(DBSCAN)，将高密度区域中的样本分组为簇，并将低密度区域中的样本保持为离群点，这样就可以把目标域数据集划分为已聚类点和离群点。对于已经聚
类的点，使用它们所在的簇的编号作为它们的伪标签。对于离群点，在步骤4中使用对抗性的策略将小损失的样本加入到训练过程中。
[0040]步骤4，对于步骤3的生成的离群点，尝试使用一个辅助网络逐步将离群点中的一些小损失样本附加到训练过程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相互分歧学习的域自适应行人重识别方法，其特征在于：包括以下步骤：步骤S1，准备行人数据集，行人数据集包括有标签的源域数据集和无标签的目标域数据集；步骤S2，在源域数据集上进行预训练，在目标域数据集上提取图片的特征向量；步骤S3，对目标域数据集的图像进行基于密度的聚类，将簇的编号作为伪标签；步骤S4，使用对抗性的策略将离群点加入到训练样本中；步骤S5，将步骤S3得到已聚类的样本和步骤S4得到的离群点混合，一起送入网络，采用相互分歧学习来校正伪标签的噪声，将待查询的行人图像输入到训练好的行人重识别模型中，得到待识别的行人特征向量，并将它与候选库中的属性特征进行相似度比较并排序，得到行人重识别的结果。2.根据权利要求1所述的基于相互分歧学习的域自适应行人重识别方法，其特征在于：所述步骤S2中，利用ResNet
‑
50模型在源域数据集上进行有监督的预训练，然后用预训练的模型来初始化训练目标域数据集，提取目标域数据集中图片的特征。3.根据权利要求2所述的基于相互分歧学习的域自适应行人重识别方法，其特征在于：所述步骤S2中，使用预训练的模型进行初始化，并且去除ResNet
‑
50模型的最后一个分类层；在目标域数据集上提取图片的特征向量表示为X＝{x1,x2,...,x
N
}，N是数据集中样本图片的数目，每个x都是一个2048维的特征向量。4.根据权利要求2所述的基于相互分歧学习的域自适应行人重识别方法，其特征在于：所述步骤S2中，使用的损失函数为...

【专利技术属性】
技术研发人员：张立言，徐旭，杜国栋，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：