【技术实现步骤摘要】
一种基于无监督跨模态的行人重识别方法
[0001]本专利技术属于计算机视觉
，具体涉及一种基于无监督跨模态的行人重识别方法。
技术介绍
[0002]无监督跨模态行人重识别这一问题主要是为了解决行人重识别方法在夜晚环境下检索的鲁棒性不足以及跨模态标签难以获取的问题。在夜晚环境下光照严重不足，传统可见光摄像头容易失效，甚至连行人都难以捕获。这种情况下单独使用可见光模态的图片进行检索会导致效果大幅下降。
[0003]无监督行人重识别当前可以分为两大类，一种是域适应(domain adaptive)的无监督行人重识别，即有一个带标签的源数据集和一个不带标签的目标数据集。一种则是纯的无监督(pure unsupervised)行人重识别，即只有一个不带标签的目标数据集，最多只能使用ImageNet数据集预训练的网络。两种无监督行人重识别的目标都是在无标签的目标数据集上实现成功的检索。对于域适应的无监督行人重识别，当前的方法可以分为几种，一种是在目标数据集上生成伪类标，一种是利用对抗生成网络(GAN)做不同域之间的分布拉近...
【技术保护点】
【技术特征摘要】
1.一种基于无监督跨模态的行人重识别方法，其特征在于，包括以下步骤：S1、使用具有跨模态标签的源数据集预训练一个局部特征提取网络；S2、构建单模态聚类跨模态匹配框架，框架包括三个网络，其中两个网络负责不同模态图片，学习模态特定的特征，另一个网络负责混合模态的图片，学习模态共享的特征，使用训练好的局部特征提取网络及其参数初始化单模态聚类跨模态匹配框架的三个网络；S3、使用负责单模态的网络提取模态特定的特征用于单模态聚类；S4、使用负责混合模态的网络输出模态共享的特征计算聚类中心，并进行不同模态聚类的匹配和融合，得到新的伪类标；S5、利用得到的伪类标，使用三元组损失对三个网络同时进行有监督训练，训练迭代多代；S6、返回并执行步骤S3，利用当前最新的网络重新单模态聚类，再通过步骤S4重新匹配和融合得到新的伪类标，再进行步骤S5和步骤S6，重复步骤S3至S6直至达到停止条件；S7、将最终得到的单模态聚类跨模态匹配框架用于实际的行人中识别。2.根据权利要求1所述的一种基于无监督跨模态的行人重识别方法，其特征在于，步骤S1中，局部特征提取网络采用卷积神经网络模型Resnet50，输入图像经过局部特征提取网络的所有卷积层后，利用最后一层得到的特征图按垂直方向进行分块，作为局部特征信息，使用该局部特征信息进行分类及损失的计算，指导网络学习到具有判别性的局部特征信息。3.根据权利要求1所述的一种基于无监督跨模态的行人重识别方法，其特征在于，单模态聚类跨模态匹配框架的三个网络具体为：仅输入可见光图片的可见光模态网络F
R
、仅输入近红外图片的近红外模态网络F
I
以及同时输入可见光和近红外图片的混合模态网络F
M
。4.根据权利要求1所述的一种基于无监督跨模态的行人重识别方法，其特征在于，步骤S1的预训练具体为：源数据集的图像经过局部特征提取网络F
p
，在F
p
得到的最后一层的特征图上按垂直方向进行分块，分成6块，原始特征图的维度是h
×
w
×
c，其中h为高，w为宽，c为通道数，每一块的维度因此是h/6
×
w
×
c，每一个分块接着平均池化为一个维度为c的特征，得到6个维度为c的特征，每一个分块的特征接着都送入各自对应的分类器中，即有6个不同的分类器，最终得到6个分块的输出的类别概率，第i个分块的输出的第j类的概率公式如下：其中，W
i
表示第i个分块对应的分类器，即一个全连接层，则代表分类器全连接层的转置后的矩阵的第k行，n表示行人类别的个数，表示网络F
p
的第i个分类器；该公式表示对每一个分类器输出的值做softmax得到分类概率，基于该公式，接着使用交叉熵函数，第i个分块的交叉熵函数写为：
其中，当且仅当输入样本属于第j类时y
j
为1，否则y
j
为0；最终的分块损失函数为所有分块交叉熵的和：同时，为了减少模态差异，将不同模态的特征都嵌入到同一个空间中，在特征分布上减少不同模态分布的差异，获得模态共享的特征，从而提高跨模态检索的效果，对相同行人不同模态的图片的特征直接进行拉近，即优化目标为：其中，表示源数据集第i个行人的可见光图片，表示源数据集第i个行人的近红外图片，F
p
代表分块预训练网络；通过优化该目标，使得相同的行人不同模态的特征得以逐渐相同，分布逐渐相似；运用网络的中间层特征进行模态分布的拉近，最终的模态分布拉近的损失函数为：其中，b代表每一个数据批次中的样本数目，F
p,i
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。