一种基于聚类和多尺度学习的无监督跨域行人重识别方法技术

本发明专利技术涉及一种基于聚类和多尺度学习的无监督跨域行人重识别方法，包括：构建相同的两个原始卷积神经网络，对两个原始卷积神经网络分别采用不同的初始化参数利用源域训练集进行预训练，得到预训练完成的两个预训练学生模型，并分别复制得到两个预训练教师模型；构建图片特征记忆库；利用目标域训练集对两个预训练学生模型和两个预训练教师模型进行多轮目标域交互监督学习，直至达到得到预设的学习终止条件，得到跨域学习完成的两个学生模型和两个教师模型；利用跨域学习完成的任一个模型对目标域查询样本进行识别，找到目标域底库图片集中具有相同标签的图片，完成行人重识别。本发明专利技术的方法提高了无监督跨域行人重识别的识别精度。识别精度。识别精度。

【技术实现步骤摘要】
一种基于聚类和多尺度学习的无监督跨域行人重识别方法


[0001]本专利技术属于图像处理
，具体涉及一种基于聚类和多尺度学习的无监督跨域行人重识别方法。

技术介绍

[0002]行人重识别是指给定某张行人图像，运用计算机视觉或者机器学习方法从给定的一系列行人图像中检索出不同视角或不同场景下的具有相同身份的行人图像。为了解决日常生活中的目标检索和实时跟踪等问题，其在智能视频监控领域具有广泛的应用场景。
[0003]跨域无监督行人重识别允许利用另一个带有标签的数据集进行迁移学习。因其不需要花费人工成本进行标注，所以针对特定场景的学习只需要机器自动采集并根据已有模型和数据进行自动训练，以拟合出适应该特殊场景的参数。因此，开发高效和鲁棒的无监督行人重识别系统，无论是在学术领域还是在工业领域都非常有吸引力。
[0004]在跨域无监督行人重识别任务发展的早期，流行一种基于域转换的生成方法，这类方法通过与训练生成模型，经源域图像通过生成方法，合成出与目标域图像具有相同风格的图像，随后根据源域图像的真实标签，从而将跨域问题转化为同域下的半监督问题，以便利用半监督方法进行训练。但是这种基于生成图像的方法由于要先训练一个生成模型，这样会导致不可避免的误差，这些误差会在后续的训练中被进一步方法，从而导致不可挽回的性能损失，使得模型的识别准确率大打折扣。因此，这类方法在近年的跨域无监督行人重识别中逐渐失去了主流的地位，取而代之的是一种基于预训练微调的方法，这类方法首先根据源域带有标签的数据预训练一个模型，然后根据这个模型在目标域进行无监督方法的微调例如各类聚类方法赋予伪标签等，取得了先进的效果。但这种基于预训练微调的方法仍然存在伪标签不准确、放大错误聚类等问题，同样会影响识别的准确率。

技术实现思路

[0005]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于聚类和多尺度学习的无监督跨域行人重识别方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0006]本专利技术提供了一种基于聚类和多尺度学习的无监督跨域行人重识别方法，包括：
[0007]步骤1：构建相同的两个原始卷积神经网络，对所述两个原始卷积神经网络分别采用不同的初始化参数利用源域训练集进行预训练，得到预训练完成的第一预训练学生模型和第二预训练学生模型，对所述第一预训练学生模型和所述第二预训练学生模型分别复制得到对应的第一预训练教师模型和第二预训练教师模型；
[0008]步骤2：构建图片特征记忆库，所述图片特征记忆库用于存放目标域训练集的图片特征和对应的标签；
[0009]步骤3：根据所述第一预训练学生模型、所述第二预训练学生模型、所述第一预训练教师模型和所述第二预训练教师模型，利用目标域训练集进行多轮目标域交互监督学习，直至达到得到预设的学习终止条件，得到跨域学习完成的第一学生模型、第二学生模
型、第一教师模型和第二教师模型；
[0010]其中，针对每一轮目标域交互监督学习，将所述目标域训练集输入所述第一预训练学生模型和所述第二预训练学生模型，对任意一个预训练学生模型提取到的图片特征进行DBSCAN聚类，根据聚类结果更新所述图片特征记忆库中的图片特征和标签；
[0011]在每一轮目标域交互监督学习时，利用网络总损失对所述第一预训练学生模型、所述第二预训练学生模型、所述第一预训练教师模型和所述第二预训练教师模型的参数进行更新，所述网络总损失包括硬软伪标签结合监督总损失和对比学习总损失；
[0012]步骤4：利用跨域学习完成的任一个模型对目标域查询样本进行识别，找到目标域图片集中具有相同标签的图片，完成行人重识别。
[0013]在本专利技术的一个实施例中，所述源域训练集为附有标签的图片集，所述目标域训练集为无标签的图片集。
[0014]在本专利技术的一个实施例中，所述步骤1包括：
[0015]步骤1.1：构建相同的两个原始卷积神经网络，对所述两个原始卷积神经网络分别采用不同的初始化参数；
[0016]步骤1.2：利用源域训练集对所述两个原始卷积神经网络分别进行多轮预训练，直至达到得到预设的预训练终止条件，得到预训练完成的第一预训练学生模型Net1和第二预训练学生模型Net2；
[0017]其中，针对每一轮预训练，对输入两个原始卷积神经网络的图像分别采用不同的随机增强方式，对两个原始卷积神经网络的输出特征分别采用随机dropout，在每一轮预训练时，两个原始卷积神经网络均采用Log softmax loss和Triplet loss反向传播更新网络参数；
[0018]步骤3：将第一预训练学生模型Net1和第二预训练学生模型Net2的结构、参数分别复制得到对应的第一预训练教师模型Mean
‑
Net1和第二预训练教师模型Mean
‑
Net2。
[0019]在本专利技术的一个实施例中，在构建图片特征记忆库之后，对所述图片特征记忆库进行初始化，包括：
[0020]将所述目标域训练集分别经过第一预训练学生模型和第二预训练学生模型提取得到每一张图片对应的图片特征和标签，将所述图片特征和标签存入所述图片特征记忆库完成初始化，其中，所述图片特征F＝(F1+F2)/，其中，F1表示图片经过第一预训练学生模型提取得到的第一图片特征，F2表示图片经过第二预训练学生模型提取得到的第二图片特征。
[0021]在本专利技术的一个实施例中，将所述目标域训练集输入所述第一预训练学生模型和所述第二预训练学生模型，对任意一个预训练学生模型提取到的图片特征进行DBSCAN聚类，根据聚类结果更新所述图片特征记忆库中的图片特征和标签，包括：
[0022]将所述目标域训练集输入所述第一预训练学生模型和所述第二预训练学生模型；
[0023]根据任意一个预训练学生模型提取到的图片特征计算jaccard距离；
[0024]根据所述jaccard距离对提取到的图片特征进行DBSCAN聚类；
[0025]对每一个聚类类别计算其聚类中心，并对所述聚类类别分配对应的伪标签；
[0026]根据提取到的图片特征和对应的伪标签更新所述图片特征记忆库中的图片特征和标签。
[0027]在本专利技术的一个实施例中，利用网络总损失对所述第一预训练学生模型、所述第二预训练学生模型、所述第一预训练教师模型和所述第二预训练教师模型的参数进行更新，包括：
[0028]根据所述网络总损失，通过梯度反向传播对第一预训练学生模型和所述第二预训练学生模型进行参数更新，之后通过EMA方式对所述第一预训练教师模型和所述第二预训练教师模型进行参数更新；
[0029]其中，按照下式对所述第一预训练教师模型和所述第二预训练教师模型进行参数更新，
[0030][0031]式中，E[θ]表示网络参数θ的累计平均值，T表示第T轮目标域交互监督学习，θ1表示第一预训练学生模型的当前轮的参数，θ2表示第二预训练学生模型的当前轮的参数，α表示平滑系数超参数。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于聚类和多尺度学习的无监督跨域行人重识别方法，其特征在于，包括：步骤1：构建相同的两个原始卷积神经网络，对所述两个原始卷积神经网络分别采用不同的初始化参数利用源域训练集进行预训练，得到预训练完成的第一预训练学生模型和第二预训练学生模型，对所述第一预训练学生模型和所述第二预训练学生模型分别复制得到对应的第一预训练教师模型和第二预训练教师模型；步骤2：构建图片特征记忆库，所述图片特征记忆库用于存放目标域训练集的图片特征和对应的标签；步骤3：根据所述第一预训练学生模型、所述第二预训练学生模型、所述第一预训练教师模型和所述第二预训练教师模型，利用目标域训练集进行多轮目标域交互监督学习，直至达到得到预设的学习终止条件，得到跨域学习完成的第一学生模型、第二学生模型、第一教师模型和第二教师模型；其中，针对每一轮目标域交互监督学习，将所述目标域训练集输入所述第一预训练学生模型和所述第二预训练学生模型，对任意一个预训练学生模型提取到的图片特征进行DBSCAN聚类，根据聚类结果更新所述图片特征记忆库中的图片特征和标签；在每一轮目标域交互监督学习时，利用网络总损失对所述第一预训练学生模型、所述第二预训练学生模型、所述第一预训练教师模型和所述第二预训练教师模型的参数进行更新，所述网络总损失包括硬软伪标签结合监督总损失和对比学习总损失；步骤4：利用跨域学习完成的任一个模型对目标域查询样本进行识别，找到目标域图片集中具有相同标签的图片，完成行人重识别。2.根据权利要求1所述的基于聚类和多尺度学习的无监督跨域行人重识别方法，其特征在于，所述源域训练集为附有标签的图片集，所述目标域训练集为无标签的图片集。3.根据权利要求2所述的基于聚类和多尺度学习的无监督跨域行人重识别方法，其特征在于，所述步骤1包括：步骤1.1：构建相同的两个原始卷积神经网络，对所述两个原始卷积神经网络分别采用不同的初始化参数；步骤1.2：利用源域训练集对所述两个原始卷积神经网络分别进行多轮预训练，直至达到得到预设的预训练终止条件，得到预训练完成的第一预训练学生模型Net1和第二预训练学生模型Net2；其中，针对每一轮预训练，对输入两个原始卷积神经网络的图像分别采用不同的随机增强方式，对两个原始卷积神经网络的输出特征分别采用随机dropout，在每一轮预训练时，两个原始卷积神经网络均采用Log softmax loss和Triplet loss反向传播更新网络参数；步骤3：将第一预训练学生模型Net1和第二预训练学生模型Net2的结构、参数分别复制得到对应的第一预训练教师模型Mean
‑
Net1和第二预训练教师模型Mean
‑
Net2。4.根据权利要求3所述的基于聚类和多尺度学习的无监督跨域行人重识别方法，其特征在于，在构建图片特征记忆库之后，对所述图片特征记忆库进行初始化，包括：将所述目标域训练集分别经过第一预训练学生模型和第二预训练学生模型提取得到每一张图片对应的图片特征和标签，将所述图片特征和标签存入所述图片特征记忆库完成初始化，其中，所述图片特征F＝(F1+F2)/2，其中，F1表示图片经过第一预训练学生模型提
取得到的第一图片特征，F2表示图片经过第二预训练学生模型提取得到的第二图片特征。5.根据权利要求4所述的基于聚类和多尺度学习的无监督跨域行人重识别方法，其特征在于，将所述目标域训练集输入所述第一预训练学生模型和所述第二预训练学生模型，对任意一个预训练学生模型提取到的图片特征进行DBSCAN聚类，根据聚类结果更新所述图片特征记忆库中的图片特征和标签，包括：将所述目标域训练集输入所述第一预训练学生模型和所述第二预训练学生模型；根据任意一个预训练学生模型提取到的图片特征计算jaccard距离；根据所述jaccard距离对提取到的图片特征进行DBSCAN聚类；对每一个聚类类别计算其聚类中心，并对所述聚类类别分配对应的伪标签；根据提取到的图片特征和对应的伪标签更新所述图片特征记忆库中的图片特征和标签。6.根据权利要求5所述的...

【专利技术属性】
技术研发人员：杨曦，郑顾，袁柳，魏梓钰，杨东，
申请(专利权)人：中国电子科技集团公司电子科学研究院，
类型：发明
国别省市：