基于对抗攻击样本和多视图聚类的无监督行人重识别方法技术

本发明专利技术公开了一种基于对抗样本和多视图聚类的无监督行人重识别方法，该方法提出联合训练多个神经网络，随后的得到不同网络的特征来用于伪标签估计。本发明专利技术提出的整个框架专注于解决两个问题：第一个是怎么样让不同的深度神经网络学习到多样和互补的特征表达，第二个是怎么更好地估计无标签数据的伪标签。1)对于第一个问题，的方法将对抗攻击样本引入深度网络训练并且提出了一个对抗损失去约束不同的深度网络学习不同的参数。2)对于第二个方法，提出了一种可以联合多个不同神经网络特征的多视图聚类方法。本发明专利技术可以对大量的无标签数据提供伪标签，从而协助深度神经网络可以利用大量的无标签数据进行训练。

【技术实现步骤摘要】
基于对抗攻击样本和多视图聚类的无监督行人重识别方法
本专利技术属于计算机视觉图像处理
，具体涉及一种基于对抗攻击样本和多视图聚类的无监督行人重识别方法。
技术介绍
行人重识别在计算机视觉领域是一个具有挑战性的任务，该任务目标是要识别出不同摄像头下的同一个人。之前的大多数方法利用人工设计的特征来计算图像之间的相似度。随着深度卷积网络的发展，目前深度卷积特征取得了最好的效果。然而，大多数的卷积神经网络基于监督学习。监督学习通常需要大量的有标注样本。在现实情况中，获取样本标签需要花费大量的时间和人力，因此，研究者们提出了一系列的半监督和无监督学习方法。为了能更好的训练卷积神经网络，一些无监督方法为无标签数据估计伪标签，随后用于神经网络的训练。大多数的无监督方法利用单个的神经网络提取特征，随后估计无标签样本的伪标签。然而，单个神经网络学习到的特征较为单一，得到伪标签的精度较低。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供了一种基于对抗攻击样本和多视图聚类的无监督行人重识别方法。为了能得到更为精确的伪标签，利用对抗样本约束不同的深度网络学习互补特征，并且采用多视图聚类方法对多个不同的深度网络特征进行聚类，从而得到无标签数据的伪标签。本专利技术采用如下技术方案来实现的：基于对抗攻击样本和多视图聚类的无监督行人重识别方法，包括以下步骤：1)互补的图像特征提取：首先，对于不同结构的神经网络模型，根据当前训练的参数值生成对抗攻击样本，接着，利用提出的对抗损失约束不同的神经网络学习不同的参数；2)伪标签的生成：对于无标签数据，首先利用步骤1)训练的模型对其提取特征，不同的卷积神经网络特征代表不同视图的特征，随后，采用提出的多视图聚类算法对多视图特征进行聚类得到伪标签；3)利用步骤2)得到的伪标签微调多个异构神经网络：卷积神经网络和伪标签交替迭代优化直到伪标签不在改变。本专利技术进一步的改进在于，步骤1)的具体实现方法如下：101)引入对抗攻击样本并且提出一种新的正则损失来约束多个神经网络学习不同以及互补的特征102)基于步骤101)学习到的互补特征，提出了一种可以联合多个不同神经网络特征的多视图聚类方法，根据聚类，得到无标签样本的伪标签；103)基于步骤102)得到的伪标签，采用无标签数据和其伪标签的组合微调多个神经网络，聚类和神经网络训练的训练交替进行，直到伪标签不再改变，得到最终的网络参数。本专利技术进一步的改进在于，步骤2)的具体实现方法如下：201)给定一个已有的能够额外利用的有标签的数据集，首先根据当前模型生成给定数据的对抗攻击样本，再根据对抗样本，对抗正则，以及cross-entropy和triplet损失训练多个深度神经网络；202)根据步骤201)得到的模型对无标签数据集提取特征，随后利用提出的多视图聚类对多个网络的特征聚类，得到无标签数据的伪标签；203)利用带有伪标签的无标签数据微调多个神经网络，接着采用更新过的网络再次对无标签数据提取特征，随后采用多视图聚类更新伪标签，深度网络和伪标签的更新交替进行直到伪标签不在改变。本专利技术至少具有如下有益的技术效果：本专利技术方法所得到的来自不同卷积神经网络的特征表达具有多样性和互补性，这使得多视图聚类方法能得到更加准确的伪标签。从而能更加有效的微调卷积神经网络。在的方法中，卷积神经网络训练和伪标签估计相互促进，共同提高。附图说明图1为本专利技术的方法流程图。图2为对抗攻击样本说明图。具体实施方式以下结合附图和实施例对本专利技术做出进一步的说明。为了让不同的深度神经网络学习到多样和互补的特征表达，的方法将对抗攻击样本引入深度网络训练并且提出了一个对抗损失去约束不同的深度网络学习不同的参数。在介绍的对抗损失之前，先介绍对抗攻击样本：给定一个现有的深度神经网络模型，根据metric损失来产生对抗攻击样本。图2展示了对抗攻击样本的性质。对于一个Anchor，它和其正样本之间的距离比较小，但是和正样本的对抗攻击样本之间的距离较大。同样地，对于负样本对，给定一个深度模型，当把对抗噪声添加到负样本上时，该模型下负样本对间的特征距离会变大。在的工作中，仅使用Anchor和其本身的对抗攻击样本。Anchor和其本身可以看作特殊的正样本对。Anchor和自己的特征距离为零，和其本身的对抗样本距离会变大。利用对抗样本的特性，提出了一个对抗损失：式中：D代表欧式距离；C1(x)和C2(x)分别代表深度网络1和深度网络2的特征；G1(x)和G2(x)表示不同网络产生的对抗样本，在的方法中，Ladv1和Ladv2在每个batch中交替优化。对于在一个batch里面的任意一张图，首先产生其自己的对抗样本C1(G1(x))。根据对抗样本的性质，知道C1(x)和C1(G1(x))之间的特征距离较大。为了从网络2中学习互补的特征信息，通过最小化Ladv1来优化网络2使得网络2可以学习到与网络1不同的参数。G1(x)只能迷惑网络1但不能迷惑网络2。同样地，随后产生对抗攻击样本G2(x)基于网络2当前训练的参数。优化网络1的参数通过最小化Ladv2。G2(x)只能迷惑网络2但是不能迷惑网络1。基于的对抗损失，的框架可以鼓励不同的深度模型学习多样化和具有补充性质的特征。对于第二个问题，提出了一个多视图聚类的方法来估计无标签数据的伪标签。将不同深度网络提取的特征看作不同视图下的特征。为了更好的利用多视图特征以及抑制聚类方法陷入不好的局部最小值，引入了一个自步正则项。的多视图聚类可以写成如下形式：其中代表无标签数据组合成的矩阵，矩阵的每一列为一个无标签数据。代表第υ个视图的深度卷积网络特征。为第υ个视图下的中心点矩阵。满足1-of-Ku的形式。Ku为期望聚类的数目。为第υ个视图下的权重因子。W＝[ω1；…；ωM]。表示第υ个视图下数据i的特征。λ用来控制聚类优化过程中的样本选择。通过梯度下降，可以得到其中lυi为υ视图下无标签样本i的重建损失，λ在优化的过程中逐渐增大用于选择更多的无标签样本。为了得到具有更好区分性的特征，在训练网络的时候采用Triplet损失和交叉熵损失专利技术的方法的总的损失函数为本专利技术方法的全部流程如下：在的方法中，神经网络和多视图聚类的训练交替进行，包含几个步骤：1)利用MSMT17[3]训练集训练多个不同的神经网络模型作为多个模型的初始化参数。2)多视图聚类优化，细节可以参考[4]。3)对于每一个batch，针对现有的模型参数和第二步得到的伪标签，利用MI-FGSM[5]产生对抗样本。4)多个神经网络的训练，采用梯度下降最小化损失和交替地迭代2)，3)，4)步直到行人重识别的精度不在增加。本专利技术的改进在于：1)提出一种多模型协同的无监督行人重识别框架，区别于传统算法只利用本文档来自技高网...

【技术保护点】
1.基于对抗攻击样本和多视图聚类的无监督行人重识别方法，其特征在于，包括以下步骤：/n1)互补的图像特征提取：首先，对于不同结构的神经网络模型，根据当前训练的参数值生成对抗攻击样本，接着，利用提出的对抗损失约束不同的神经网络学习不同的参数；/n2)伪标签的生成：对于无标签数据，首先利用步骤1)训练的模型对其提取特征，不同的卷积神经网络特征代表不同视图的特征，随后，采用提出的多视图聚类算法对多视图特征进行聚类得到伪标签；/n3)利用步骤2)得到的伪标签微调多个异构神经网络：卷积神经网络和伪标签交替迭代优化直到伪标签不在改变。/n

【技术特征摘要】
1.基于对抗攻击样本和多视图聚类的无监督行人重识别方法，其特征在于，包括以下步骤：
1)互补的图像特征提取：首先，对于不同结构的神经网络模型，根据当前训练的参数值生成对抗攻击样本，接着，利用提出的对抗损失约束不同的神经网络学习不同的参数；
2)伪标签的生成：对于无标签数据，首先利用步骤1)训练的模型对其提取特征，不同的卷积神经网络特征代表不同视图的特征，随后，采用提出的多视图聚类算法对多视图特征进行聚类得到伪标签；
3)利用步骤2)得到的伪标签微调多个异构神经网络：卷积神经网络和伪标签交替迭代优化直到伪标签不在改变。


2.根据权利要求1所述的基于对抗攻击样本和多视图聚类的无监督行人重识别方法，其特征在于，步骤1)的具体实现方法如下：
101)引入对抗攻击样本并且提出一种新的正则损失来约束多个神经网络学习不同以及互补的特征
102)基于步骤101)学习到的互补特征，提出了一种可以联合多个不同神经网络特征的多视图聚...

【专利技术属性】
技术研发人员：王进军，辛晓萌，万星宇，邓烨，惠思奇，黄文丽，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61