一种基于聚类的无监督跨域行人重识别方法技术

本发明专利技术公开了一种基于聚类的无监督跨域行人重识别方法，属于计算机视觉领域。具体实现（1）搭建用于预训练的神经网络；（2）将源域有标签的数据输入预训练网络，做有监督的预训练；（3）搭建用于微调的双流相互学习网络框架；（4）训练双流相互学习框架，输出适用于目标域的行人重识别模型。本发明专利技术利用有标签的源域数据集和无标签的目标域数据集，以及相互学习的网络框架，实现无监督的跨域行人重识别；引入自注意力机制和全局联合池化操作，以及提出新的损失函数——联合灵活优化损失，并选用更合适开放集数据的聚类方法，从而使得模型性能获得明显提升。

An unsupervised cross domain pedestrian recognition method based on Clustering

【技术实现步骤摘要】
一种基于聚类的无监督跨域行人重识别方法
本专利技术属于图像检索
，特别设计跨域图像检索的一种基于聚类的无监督跨域行人重识别方法。
技术介绍
行人重识别(re-ID)是图像检索的一个子问题，它的目的是确定来自不同摄像机拍摄的图像的中的行人是否相同。这是一个有前景但具有挑战性的方向，因为人的图像通常受到遮挡、光照、姿势变化等因素的影响，使得重识别有很大困难。随着卷积神经网络和残差神经网络的出现，基于监督学习的行人重识别实现了很高的性能。然而，监督学习需要大量的有标记的行人数据，并且由于域间隙的存在，在源数据集上训练的模型在面对目标域时往往会出现很大的性能下降。而在现实世界的应用场景中，为每个摄像机系统标记一个大规模的数据集几乎是不可能的。为了解决这一问题，提出了一种无监督的域自适应方法，它可以传递从源域学习的知识到目标域。目前，最有效的方法是基于聚类的伪标签标注法。首先，我们通过源域中有标签的数据在有监督的学习下得到一个源域的预训练模型，然后对其进行微调。在后一步中，使用聚类方法对目标域的图片特征进行聚类，对每一个簇分配一个伪标签，然后以这些本文档来自技高网...

【技术保护点】
1.一种基于聚类的无监督跨域行人重识别方法，其特征在于：包括如下步骤：/n(1)搭建用于预训练的神经网络；/n(11)搭建特征提取模块，引入自注意力机制；/n(12)搭建全局联合池化模块；/n(13)搭建分类器；/n(2)将源域有标签的数据输入由步骤(1)得到的预训练的神经网络，做有监督的预训练；/n(21)以初始化种子1初始化预训练神经网络，训练得到模型参数θ1；/n(22)以初始化种子2初始化预训练神经网络，训练得到模型参数θ2；/n(3)搭建用于微调的双流相互学习网络框架；/n(31)搭建神经网络；/n(32)搭建特征聚类模块；/n(33)设计损失函数；/n(4)训练双流相互学习框架，输...

【技术特征摘要】
1.一种基于聚类的无监督跨域行人重识别方法，其特征在于：包括如下步骤：
(1)搭建用于预训练的神经网络；
(11)搭建特征提取模块，引入自注意力机制；
(12)搭建全局联合池化模块；
(13)搭建分类器；
(2)将源域有标签的数据输入由步骤(1)得到的预训练的神经网络，做有监督的预训练；
(21)以初始化种子1初始化预训练神经网络，训练得到模型参数θ1；
(22)以初始化种子2初始化预训练神经网络，训练得到模型参数θ2；
(3)搭建用于微调的双流相互学习网络框架；
(31)搭建神经网络；
(32)搭建特征聚类模块；
(33)设计损失函数；
(4)训练双流相互学习框架，输出适用于目标域的行人重识别模型。


2.根据权利要求1所述的基于聚类的无监督跨域行人重识别方法，其特征在于：步骤(11)具体包括以下步骤：
(111)以残差网络resnet50作为特征提取模块；
(112)在残差网络resnet50的第三层中间，插入非局部层作为自注意力模块。


3.根据权利要求1所述的基于聚类的无监督跨域行人重识别方法，其特征在于：步骤(12)具体包括以下步骤：
(121)对提取到的特征图做全局最大池化，得到特征向量X1；
(122)对提取到的特征图做全局平均池化，得到特征向量X2；
(123)融合特征向量X1和特征向量X2，最终得到行人的特征表示F。


4.根据权利要求1所述的基于聚类的无监督跨域行人重识别方法，其特征在于：步骤(13)具体包括以下步骤：
(131)删除残差网络resnet50的全连接层；
(132)计算一个mini-batch中样本的类间加权相似度Sn和类内加权相似度Sp；
(133)对mini-batch中样本标签做one-hot处理，编码为Y；
(134)计算样本的预测类别


5.根据权利要求...

【专利技术属性】
技术研发人员：周勇，侯浩鹏，赵佳琦，夏士雄，姚睿，陈莹，张迪，张曼，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏;32