基于Multiformer及离群样本重分配的无监督行人重识别方法技术

本发明专利技术涉及一种基于Multiformer及离群样本重分配的无监督行人重识别方法。其基于Transformer网络构建多分支网络识别模型Multiformer，包括单相机域Intraformer网络以及多相机域Interformer网络，所有的单相机域Intraformer网络共享骨干网络参数，增强泛化能力，在一定程度上缓解了由不同相机域的背景、光照等带来的域间差异，提高了模型对噪音伪标签的鲁棒性，进一步提升了无监督行人重识别的精度。利用自适应离群样本重分配，可扩展伪标签的数量，增强了多分支网络识别模型Multiformer的特征表示能力。在模型训练时，利用实例级对比学习与聚类级对比学习组成的联合学习，可以大幅度提高聚类的准确度，缓解噪音伪标签的问题，从而有效提高无监督行人重识别的准确性与鲁棒性。别的准确性与鲁棒性。别的准确性与鲁棒性。

【技术实现步骤摘要】
基于Multiformer及离群样本重分配的无监督行人重识别方法


[0001]本专利技术涉及一种无监督行人重识别方法，尤其是一种基于Multiformer及离群样本重分配的无监督行人重识别方法。

技术介绍

[0002]随着计算机视觉在理论上和实践上的广泛研究，行人重识别也逐渐成为其中的一个重要分支，其目的是为了在非重叠摄像机中识别出目标行人。行人重识别具有广泛的现实应用，例如犯罪分子搜索、多摄像头跟踪以及失踪人员搜索等。
[0003]目前，传统的行人重识别的研究依赖于大量人工标注的图像，这种方法即低效又昂贵，而无监督行人重识别则彻底解决了这个问题，该技术无需额外的标记行人身份，相对于传统的行人重识别，无监督行人重识别拥有更广泛的应用空间。
[0004]由于客观环境的多样性以及行人动作的主观复杂性，目前，无监督行人重识别依然还有很多问题亟待解决，其中，所要解决的问题主要包括：1)、缺乏真实身份标签来监督特征表示学习，如果没有真实身份标签，模型就必须先确定与训练数据相关的伪身份标签；目前，主要通过聚类或KNN搜索等给相似图像分配相同标签，从而生成伪标签，以进行训练，但如果估计的身份不正确，会对模型的学习产生阻碍；2)、由于行人图像存在遮挡、视角不同、背景干扰等因素，估计的伪标签是存在噪音的，而行人重识别模型的主要任务就是从不同的行人图像中学习到有区别的行人特征表示，如何最小化噪音伪标签的影响，并且最大化模型的判别力也是无监督行人重识别的一大挑战；3)、行人重识别本质是一个多摄像头检索任务，不同摄像头之间存在背景、视角以及光线等差异，如何充分去学习到跨摄像机不变的行人特征也是需要解决的问题。
[0005]此外，传统的无监督行人重识别任务主要是采用CNN作为骨干网络进行提取特征，而CNN每次只能处理一个局部邻域，感受野有限，无法很好的捕获全局信息，并且CNN的卷积和下采样操作会造成较大细节信息和空间信息损失，无法有效满足无监督行人重识别的需求。

技术实现思路

[0006]本专利技术的目的是克服现有技术中存在的不足，提供一种基于Multiformer及离群样本重分配的无监督行人重识别方法，有效的提高无监督行人重识别的准确性与鲁棒性。
[0007]按照本专利技术提供的技术方案，一种基于Multiformer及离群样本重分配的无监督行人重识别方法，所述无监督行人重识别方法包括：
[0008]构建基于Transformer网络的多分支网络识别模型Multiformer，以利用所构建的多分支网络识别模型Multiformer对由m个相机所采集的行人图像进行所需的无监督行人重识别，其中，
[0009]对所构建的多分支网络识别模型Multiformer，包括对每个相机基于Transformer
网络所构建的单相机域Intraformer网络以及对所有相机基于Transformer网络所构建的多相机域Interformer网络；
[0010]在构建多分支网络识别模型Multiformer时，所有相机的单相机域Intraformer网络与多相机域Interformer网络采用相同的骨干网络，且所有相机的单相机域Intraformer网络在训练时共享骨干网络参数；
[0011]在行人重识别时，对一包含待识别行人的识别图像，利用多相机域Interformer网络对所述识别图像进行特征提取，以根据所提取的行人特征在由m个相机所采集的行人图像中查找确定与所述提取行人特征匹配的行人图像。
[0012]在构建多分支网络识别模型Multiformer时，构建步骤包括：
[0013]构建基于Transformer网络的多分支网络识别基础模型，其中，多分支网络识别基础模型包括基于Transformer网络的多相机域基础网络以及m个基于Transformer网络的单相机域基础网络，多相机域基础网络以及所有的单相机域基础网络内均配置一分类器，其中，所配置的分类器与所在多相机域基础网络或单相机域基础网络内相应的骨干网络适配连接；
[0014]在构建多分支网络识别基础模型时，先对构建多相机域基础网络的骨干网络基于ImageNet数据集进行预训练，以得到多相机域基础网络的多相机域骨干网络预训练参数；
[0015]对构建的单相机域基础网络训练时，将得到的多相机域骨干网络预训练参数加载到所有单相机域基础网络的骨干网络，以使得所有相机的单相机域基础网络共享网络骨干参数；
[0016]对上述构建多分支网络识别基础模型进行所需的训练，以在达到目标训练状态时，基于训练后的单相机域基础网络形成对应的单相机域Intraformer网络，且基于训练后的多相机域基础网络形成多相机域Interformer网络；
[0017]利用上述的多相机域Interformer网络以及m个单相机域Intraformer网络形成多分支网络识别模型Multiformer。
[0018]对构建的多分支网络识别基础模型训练时，所述训练的过程包括：
[0019]步骤1、对训练数据集，利用多分支网络识别基础模型对训练数据集进行特征提取，以得到多相机域图片特征F
mc
以及第i个相机的单相机域图片特征F
c_i
，i＝1,
…
,m；
[0020]步骤2、对上述得到的多相机域图片特征F
mc
以及第i个相机的单相机域图片特征F
c_i
进行聚类，其中，成功聚类的图片形成聚类点Inliers，对聚类点Inliers内的图片分配聚类点伪标签，未成功聚类的图片形成离群点Outliers；
[0021]步骤3、基于上述聚类点伪标签，生成聚类点伪标签聚类中心，利用所生成的聚类点伪标签聚类中心对离群点Outliers进行自适应离群样本重分配，以在自适应离群样本重分配后，将离群点Outliers内的离群样本分配相应的聚类点伪标签，且利用所有的聚类点伪标签形成伪标签训练集；
[0022]步骤4、对多分支网络识别基础模型进行联合对比学习，以对多分支网络识别基础模型进行基于联合对比学习的模型网络参数寻优，其中，
[0023]对第i个单相机域基础网络基于上述的训练数据集、第i个相机的单相机域图片特征F
c_i
以及聚类点伪标签聚类中心进行联合对比学习；
[0024]对多相机域基础网络，基于上述的训练数据集、多相机域图片特征F
mc
以及聚类点
伪标签聚类中心进行联合对比学习；
[0025]所述联合对比学习包括聚类级对比学习以及实例级对比学习；
[0026]步骤5、对基于联合对比学习寻优后的多分支网络识别基础模型，进行单相机域基础网络与多相机域基础网络的协同训练，其中，
[0027]利用多相机域图片特征F
mc
以及伪标签训练集对多相机域基础网络进行训练；
[0028]对第i个单相机域基础网络，利用第i个相机的单相机域图片特征F...

【技术保护点】

【技术特征摘要】
1.一种基于Multiformer及离群样本重分配的无监督行人重识别方法，其特征是，所述无监督行人重识别方法包括：构建基于Transformer网络的多分支网络识别模型Multiformer，以利用所构建的多分支网络识别模型Multiformer对由m个相机所采集的行人图像进行所需的无监督行人重识别，其中，对所构建的多分支网络识别模型Multiformer，包括对每个相机基于Transformer网络所构建的单相机域Intraformer网络以及对所有相机基于Transformer网络所构建的多相机域Interformer网络；在构建多分支网络识别模型Multiformer时，所有相机的单相机域Intraformer网络与多相机域Interformer网络采用相同的骨干网络，且所有相机的单相机域Intraformer网络在训练时共享骨干网络参数；在行人重识别时，对一包含待识别行人的识别图像，利用多相机域Interformer网络对所述识别图像进行特征提取，以根据所提取的行人特征在由m个相机所采集的行人图像中查找确定与所述提取行人特征匹配的行人图像。2.根据权利要求1所述基于Multiformer及离群样本重分配的无监督行人重识别方法，其特征是，在构建多分支网络识别模型Multiformer时，构建步骤包括：构建基于Transformer网络的多分支网络识别基础模型，其中，多分支网络识别基础模型包括基于Transformer网络的多相机域基础网络以及m个基于Transformer网络的单相机域基础网络，多相机域基础网络以及所有的单相机域基础网络内均配置一分类器，其中，所配置的分类器与所在多相机域基础网络或单相机域基础网络内相应的骨干网络适配连接；在构建多分支网络识别基础模型时，先对构建多相机域基础网络的骨干网络基于ImageNet数据集进行预训练，以得到多相机域基础网络的多相机域骨干网络预训练参数；对构建的单相机域基础网络训练时，将得到的多相机域骨干网络预训练参数加载到所有单相机域基础网络的骨干网络，以使得所有相机的单相机域基础网络共享网络骨干参数；对上述构建多分支网络识别基础模型进行所需的训练，以在达到目标训练状态时，基于训练后的单相机域基础网络形成对应的单相机域Intraformer网络，且基于训练后的多相机域基础网络形成多相机域Interformer网络；利用上述的多相机域Interformer网络以及m个单相机域Intraformer网络形成多分支网络识别模型Multiformer。3.根据权利要求2所述基于Multiformer及离群样本重分配的无监督行人重识别方法，其特征是，对构建的多分支网络识别基础模型训练时，所述训练的过程包括：步骤1、对训练数据集，利用多分支网络识别基础模型对训练数据集进行特征提取，以得到多相机域图片特征F
mc
以及第i个相机的单相机域图片特征F
c_i
，i＝1,
…
,m；步骤2、对上述得到的多相机域图片特征F
mc
以及第i个相机的单相机域图片特征F
c_i
进行聚类，其中，成功聚类的图片形成聚类点Inliers，对聚类点Inliers内的图片分配聚类点伪标签，未成功聚类的图片形成离群点Outliers；步骤3、基于上述聚类点伪标签，生成聚类点伪标签聚类中心，利用所生成的聚类点伪标签聚类中心对离群点Outliers进行自适应离群样本重分配，以在自适应离群样本重分配
后，将离群点Outliers内的离群样本分配相应的聚类点伪标签，且利用所有的聚类点伪标签形成伪标签训练集；步骤4、对多分支网络识别基础模型进行联合对比学习，以对多分支网络识别基础模型进行基于联合对比学习的模型网络参数寻优，其中，对第i个单相机域基础网络基于上述的训练数据集、第i个相机的单相机域图片特征F
c_i
以及聚类点伪标签聚类中心进行联合对比学习；对多相机域基础网络，基于上述的训练数据集、多相机域图片特征F
mc
以及聚类点伪标签聚类中心进行联合对比学习；所述联合对比学习包括聚类级对比学习以及实例级对比学习；步骤5、对基于联合对比学习寻优后的多分支网络识别基础模型，进行单相机域基础网络与多相机域基础网络的协同训练，其中，利用多相机域图片特征F
mc
以及伪标签训练集对多相机域基础网络进行训练；对第i个单相机域基础网络，利用第i个相机的单相机域图片特征F
c_i
以及伪标签训练集进行训练；步骤6、重复上述步骤1～步骤5的训练过程，直至达到目标训练状态。4.根据权利要求3所述基于Multiformer及离群样本重分配的无监督行人重识别方法，其特征是，对步骤1，提取多相机域图片特征F
mc
时，对训练数据集内的任一训练图片，将所述训练图片进行Spilt处理，并为每个Spilt处理得到的图像块连接一参数Cls token，且嵌入每个图像块的位置信息以及所述训练图片的相机信息编码，以配置形成训练图片多相机域特征提取...

【专利技术属性】
技术研发人员：蒋敏，张千，孔军，陶雪峰，
申请(专利权)人：江南大学，
类型：发明
国别省市：