基于注意力引导和多尺度标签生成的跨域行人重识别方法技术

本发明专利技术公开了一种基于注意力引导和多尺度标签生成的跨域行人重识别方法。本发明专利技术提出了一种基于注意力引导和多尺度标签生成的渐进式学习框架。首先，设计了一个注意力机制引导的背景约束模块，旨在突出图像中有用的前景行人信息，减轻背景杂波的干扰。这有利于引导模型学习更多与行人身份相关的判别特征，从而提高行人特征的辨识度。其次，为了挖掘图像中的细节特征信息，该模型从全局到局部、从浅层到深层挖掘潜在的相似性，从不同的视角为行人生成伪标签。结果表明，这种方法具有更好的鲁棒性和自适应能力，有效的增强了模型的泛化能力。力。力。

【技术实现步骤摘要】
基于注意力引导和多尺度标签生成的跨域行人重识别方法


[0001]本文专利技术涉及跨域行人重识别
，具体来讲是一种基于注意力引导和多尺度标签生成的跨域行人重识别方法。

技术介绍

[0002]行人重识别旨在通过给定一张行人图片，从不同摄像机中匹配相同行人的图像，被广泛应用于智能监控领域，是计算机视觉中的一个重要课题。然而，大多数提出的方法，受限于单一场景数据集与大量的标注数据，若将使用数据集训练好的模型直接部署于一个新场景下，模型的性能往往会显著下降，同时针对每个场景构建数据集需要昂贵的成本，这极大的限制了行人重识别技术的实际应用。
[0003]因此，为了解决这类问题，提出了无监督域自适应方法，通过利用有标注的源域数据集和无标注的目标域数据集，提高源域训练的模型在目标域上的性能。现有以下两种解决方法，即基于Gan的风格迁移法和基于聚类的伪标签标注法。基于Gan的风格迁移法通过使用Gan网络将源域图像风格转换为目标域图像风格，利用风格迁移后有标注的源域数据进行特征学习，一定程度上缩小了领域差距。然而，与基于聚类的伪标签标注法相比，前者的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于注意力引导和多尺度标签生成的跨域行人重识别方法，按照如下步骤进行：步骤(1)在残差网络ResNet50中引入注意力机制，增加多尺度分支,构建自定义的神经网络；步骤(2)利用有标记的源域数据训练步骤(1)构建的神经网络，得到初始re
‑
ID模型；步骤(3)将源域图像输入StarGan模型进行风格迁移，使源域图像获得目标域中对应相机的风格样式，得到风格迁移后的源域数据集，利用该数据集微调初始re
‑
ID模型；步骤(4)将无标记的目标域数据输入到步骤(3)得到的re
‑
ID模型中进行特征提取，得到每个图像的多尺度特征分组；步骤(5)根据步骤(4)生成的多尺度特征分组，分别进行距离计算构建距离矩阵，结合聚类算法对每组进行聚类，根据聚类结构，对目标域图像标注伪标签；步骤(6)使用标注多尺度伪标签的目标域数据和渐进式的训练策略训练步骤(3)得到的re
‑
ID模型；步骤(7)迭代循环步骤(4)
‑
步骤(6)，直到模型稳定；使用最终的re
‑
ID模型在测试集中检索待查询图片，得到最终结果。2.根据权利要求1所述的基于注意力引导和多尺度标签生成的跨域行人重识别方法,其特征在于所述步骤(1)具体实现过程如下：1
‑
1采用在ImageNet上预训练过的ResNet50作为骨干网络，保留主干部分的四个阶段，去除最后的空间下采样操作、全局平均池化层和完全连接层，并在残差块中的第一个BN层中加入实例归一化层；1
‑
2在ResNet50的各阶段之间插入注意力引导的背景约束模块，背景约束模块包括正向注意力机制和反向注意力机制；正向注意力机制由通道注意力C和空间注意力S两部分组成，可以写成S和C的张量乘积，如公式(1)所示；ATT＝Sigmoid(S
×
C)
ꢀꢀꢀꢀ
(1)反向注意力机是由正向注意力机制所放弃的特征形成，解决正向注意力机制导致的特征信息丢失问题,反向注意力机制的内核如公式(2)所示；ATT
R
＝1
‑
Sigmoid(S
×
C)
ꢀꢀꢀꢀꢀ
(2)1
‑
3从ResNet50的阶段2和3中提取特征的多尺度分支，也就是分别从阶段2和3提取骨干网络中生成的浅层、中层特征；在ResNet50第4阶段后添加一个全连接层和一个带有切片操作的局部分支，通过局部分支获得行人全局特征、上半部分特征和下半部分特征；并在最后增加一个BN层和分类线性层，该输出用于交叉熵损失训练网络。3.根据权利要求2所述的基于注意力引导和多尺度标签生成的跨域行人重识别方法，其特征在于所述步骤(2)具体实现过程如下：2
‑
1源域预训练联合困难三元组损失和Softmax交叉熵损失作为损失函数，其中，ResNet50第4阶段后第一个全连接层的输出特征用于困难三元组损失，分类线性层的输出用于交叉熵损失；使用该损失函数训练直至模型收敛，得到使用源域数据训练的初始re
‑
ID模型。4.根据权利要求3所述的基于注意力引导和多尺度...

【专利技术属性】
技术研发人员：姜明，高骏涛，张旻，李鹏飞，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：