一种基于聚类的无监督跨域行人重识别方法技术

本发明专利技术公开了一种基于聚类的无监督跨域行人重识别方法，属于计算机视觉领域。具体实现（1）搭建用于预训练的神经网络；（2）将源域有标签的数据输入预训练网络，做有监督的预训练；（3）搭建用于微调的双流相互学习网络框架；（4）训练双流相互学习框架，输出适用于目标域的行人重识别模型。本发明专利技术利用有标签的源域数据集和无标签的目标域数据集，以及相互学习的网络框架，实现无监督的跨域行人重识别；引入自注意力机制和全局联合池化操作，以及提出新的损失函数——联合灵活优化损失，并选用更合适开放集数据的聚类方法，从而使得模型性能获得明显提升。

An unsupervised cross domain pedestrian recognition method based on Clustering

【技术实现步骤摘要】
一种基于聚类的无监督跨域行人重识别方法
本专利技术属于图像检索
，特别设计跨域图像检索的一种基于聚类的无监督跨域行人重识别方法。
技术介绍
行人重识别(re-ID)是图像检索的一个子问题，它的目的是确定来自不同摄像机拍摄的图像的中的行人是否相同。这是一个有前景但具有挑战性的方向，因为人的图像通常受到遮挡、光照、姿势变化等因素的影响，使得重识别有很大困难。随着卷积神经网络和残差神经网络的出现，基于监督学习的行人重识别实现了很高的性能。然而，监督学习需要大量的有标记的行人数据，并且由于域间隙的存在，在源数据集上训练的模型在面对目标域时往往会出现很大的性能下降。而在现实世界的应用场景中，为每个摄像机系统标记一个大规模的数据集几乎是不可能的。为了解决这一问题，提出了一种无监督的域自适应方法，它可以传递从源域学习的知识到目标域。目前，最有效的方法是基于聚类的伪标签标注法。首先，我们通过源域中有标签的数据在有监督的学习下得到一个源域的预训练模型，然后对其进行微调。在后一步中，使用聚类方法对目标域的图片特征进行聚类，对每一个簇分配一个伪标签，然后以这些伪标签在目标域做有监督的学习，迭代地执行上面两步，最终我们获得可以适应目标域的行人重识别模型。但是，基于聚类的无监督跨域行人重识别方法仍存在以下问题：(1)由于遮挡的影响，不对齐，光照等，一般模型很难学习具有高区分度的行人特征表示。上下文信息对于目标识别也很重要，但并非所有的背景信息都有助于提高性能；(2)目标域中的类数是不确定的，且聚类算法会产生一些错误的标签，噪声不可避免地会出现在最终的伪标签中；(3)使用k-means聚类方法需要手动设置聚类个数，而聚类个数的不同值对于聚类效果的影响很大，而无监督跨域行人重识别作为一个开放集任务，我们不知道目标域中类别的个数。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于聚类的无监督跨域行人重识别方法。引入注意力模块关注用于区分身份的关键区域，从而避免因遮挡，光照等因素产生的干扰；提出全局联合池化操作，通过对全局最大池化和全局平均池化结果融合，得到信息更加丰富，辨识度更高的特征向量；提出联合灵活优化损失函数，实现对软伪标签和硬伪标签的联合利用，实现分类损失的灵活优化；选用更加适用于现实场景的聚类方法，无需人为指定聚类类别数，从而获得更好的聚类效果。技术方案：为实现上述目的，本专利技术采用的技术方案为：一种基于聚类的无监督跨域行人重识别方法，包括如下步骤：(1)搭建用于预训练的神经网络；(11)搭建特征提取模块，引入自注意力机制；(12)搭建全局联合池化模块；(13)搭建分类器；(2)将源域有标签的数据输入由步骤(1)得到的预训练的神经网络，做有监督的预训练；(21)以初始化种子1初始化预训练神经网络，训练得到模型参数θ1；(22)以初始化种子2初始化预训练神经网络，训练得到模型参数θ2；(3)搭建用于微调的双流相互学习网络框架；(31)搭建神经网络；(32)搭建特征聚类模块；(33)设计损失函数；(4)训练双流相互学习框架，输出适用于目标域的行人重识别模型。步骤(11)具体包括以下步骤：(111)以残差网络resnet50作为特征提取模块；(112)在残差网络resnet50的第三层中间，插入非局部层作为自注意力模块。步骤(12)具体包括以下步骤：(121)对提取到的特征图做全局最大池化，得到特征向量X1；(122)对提取到的特征图做全局平均池化，得到特征向量X2；(123)融合特征向量X1和特征向量X2，最终得到行人的特征表示F。步骤(13)具体包括以下步骤：(131)删除残差网络resnet50的全连接层；(132)计算一个mini-batch中样本的类间加权相似度Sn和类内加权相似度Sp；(133)对mini-batch中样本标签做one-hot处理，编码为Y；(134)计算样本的预测类别步骤(31)具体包括以下步骤：(311)搭建4个步骤(1)中的神经网络，分别为Net1，Net2，MeanNet1，MeanNet2；其中Net1和MeanNet1为双流相互学习框架一支，Net2和MeanNet2为另一支。步骤(32)具体包括以下步骤：(321)聚类模块使用基于密度的空间聚类算法，选用杰卡德距离作为密度衡量标准。步骤(33)具体包括以下步骤：(331)使用圆损失作为分类损失，对于软伪标签，先对软伪标签做logSoftMax处理，再将其用于圆损失函数，同时使用SoftMax三元组损失函数计算损失；(332)对软伪标签和硬伪标签联合使用分类损失和三元组损失作为训练目标；(333)硬伪标签做各分支网络的单独学习，软伪标签做双流网络的相互学习。步骤(4)具体如下：(41)使用步骤(2)中得到的模型参数θ1初始化Net1，模型参数θ2初始化Net2；MeanNet1和MeanNet2的模型参数由Net1和Net2的模型参数通过时间平均计算得到；(42)使用Net1和Net2同时对目标域图像进行特征提取，得到特征向量F1和F2，然后对二者求均值，作为该图像的特征表示F_C；(43)通过聚类模块对该图像的特征表示F_C进行聚类，得到无标签数据的硬伪标签；(44)通过MeanNet1和MeanNet2分别生成图像的两个软伪标签，用于相互学习；(45)使用步骤(33)中的损失函数作为训练目标；(47)使用mAP评估模型性能，选取mAP更高的MeanNet模型作为输出模型。有益效果：本专利技术提供的基于聚类的无监督跨域行人重识别方法：通过使用基于密度的空间聚类算法产生目标域无标签样本的硬伪标签而不用手动设置目标域的类别个数，更加贴近实际场景；通过特征提取网络的时间平均网络去产生目标域无标签样本的软伪标签，同时使用双流网络通过相互学习策略训练，减轻了聚类算法中不可避免的错误标签带来的影响；另外，本专利技术引入了自注意力模块，可以使网络更加关注于识别中的关键区域，减少目标域样本中遮挡、光照等因素产生的干扰；通过使用全局平局池化和全局最大池化的特征向量的融合作为最后的特征向量，获得了信息更加丰富，区分度更好的特征表示。最终的在Market1501、DukeMCMS-ReID、MSMT17_V1三个大型数据集之间的跨域实验显示，本专利技术的方法大大优于目前的无监督跨域方法，达到了目前最优性能，这也表明了我们方法的有效性。附图说明图1为本专利技术的骨干网络结构图，同时也是预训练阶段的网络图；图2为本专利技术的微调阶段的网络结构图。图3为本专利技术的预训练流程图。图4为本专利技术的微调流程图。具体实施方式下面结合附图对本文档来自技高网...

【技术保护点】
1.一种基于聚类的无监督跨域行人重识别方法，其特征在于：包括如下步骤：/n(1)搭建用于预训练的神经网络；/n(11)搭建特征提取模块，引入自注意力机制；/n(12)搭建全局联合池化模块；/n(13)搭建分类器；/n(2)将源域有标签的数据输入由步骤(1)得到的预训练的神经网络，做有监督的预训练；/n(21)以初始化种子1初始化预训练神经网络，训练得到模型参数θ1；/n(22)以初始化种子2初始化预训练神经网络，训练得到模型参数θ2；/n(3)搭建用于微调的双流相互学习网络框架；/n(31)搭建神经网络；/n(32)搭建特征聚类模块；/n(33)设计损失函数；/n(4)训练双流相互学习框架，输出适用于目标域的行人重识别模型。/n

【技术特征摘要】
1.一种基于聚类的无监督跨域行人重识别方法，其特征在于：包括如下步骤：
(1)搭建用于预训练的神经网络；
(11)搭建特征提取模块，引入自注意力机制；
(12)搭建全局联合池化模块；
(13)搭建分类器；
(2)将源域有标签的数据输入由步骤(1)得到的预训练的神经网络，做有监督的预训练；
(21)以初始化种子1初始化预训练神经网络，训练得到模型参数θ1；
(22)以初始化种子2初始化预训练神经网络，训练得到模型参数θ2；
(3)搭建用于微调的双流相互学习网络框架；
(31)搭建神经网络；
(32)搭建特征聚类模块；
(33)设计损失函数；
(4)训练双流相互学习框架，输出适用于目标域的行人重识别模型。


2.根据权利要求1所述的基于聚类的无监督跨域行人重识别方法，其特征在于：步骤(11)具体包括以下步骤：
(111)以残差网络resnet50作为特征提取模块；
(112)在残差网络resnet50的第三层中间，插入非局部层作为自注意力模块。


3.根据权利要求1所述的基于聚类的无监督跨域行人重识别方法，其特征在于：步骤(12)具体包括以下步骤：
(121)对提取到的特征图做全局最大池化，得到特征向量X1；
(122)对提取到的特征图做全局平均池化，得到特征向量X2；
(123)融合特征向量X1和特征向量X2，最终得到行人的特征表示F。


4.根据权利要求1所述的基于聚类的无监督跨域行人重识别方法，其特征在于：步骤(13)具体包括以下步骤：
(131)删除残差网络resnet50的全连接层；
(132)计算一个mini-batch中样本的类间加权相似度Sn和类内加权相似度Sp；
(133)对mini-batch中样本标签做one-hot处理，编码为Y；
(134)计算样本的预测类别


5.根据权利要求...

【专利技术属性】
技术研发人员：周勇，侯浩鹏，赵佳琦，夏士雄，姚睿，陈莹，张迪，张曼，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏;32