【技术实现步骤摘要】
多任务网络跨域行人重识别模型构建方法、系统及装置
本专利技术涉及行人重识别和跨域行人重识别领域，尤其是涉及一种基于行人属性的多任务网络跨域行人重识别模型构建方法、系统及装置。
技术介绍
在现有技术中，行人重识别技术，是指在跨摄像头的场景下，输入一个待查询的行人图像，在已有的行人数据库中，对该行人识别和检索。在实际的应用中，通常需要结合行人检测和行人跟踪技术，对图片或者视频中的行人定位，将行人检测框输入行人重识别模型，进行特征提取之后，度量多维特征之间的距离，通过排序算法得到最终的检索结果。跨域行人重识别，需要在有标注的源域上训练的模型，能在无标注的目标域使用，需要解决在不同的监控网络情况下泛化性差的问题。近年很多基于聚类算法的无监督方法都取得了很好地效果，使用聚类算法为未标注的图像生成伪标注，并利用伪标注进行训练，两者交替进行，逐步改进伪标注。SSG更进一步的考虑了目标域上训练样本中相似的特征。由于不同的局部特征具有不同的行人信息，SSG也进行了分块学习。分别对各个特征使用聚类算法得到各自的伪标注，使用三元组损失函数优化模型。最后融合所有特征用于行人检索。基于聚类使用伪标注的方法，因为源域和目标域间巨大的差异和聚类算法的准确性，不可避免的存在着噪声标签。噪声标签参对最终模型的性能有着严重的副作用。针对这个问题，MMT提出了协同训练的策略，有效的精炼了伪标注。协同训练具有不同初始化的相同架构的网络。MMT依旧利用聚类算法获得带有噪声的硬伪标注，并使用两个网络之前的时间平均模型生成对方的软伪标注。训练结束...
【技术保护点】
1.一种基于行人属性的多任务网络跨域行人重识别模型构建方法，其特征在于，包括：/n在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过所述骨干网络输出特征图，将所述特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出所述行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；/n在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对所述多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；/n将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。/n
【技术特征摘要】
1.一种基于行人属性的多任务网络跨域行人重识别模型构建方法，其特征在于，包括：
在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过所述骨干网络输出特征图，将所述特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出所述行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；
在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对所述多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；
将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
将待识别的行人图片输入到所述最终的多任务网络跨域行人重识别模型进行行人重识别。
3.根据权利要求1所述的方法，其特征在于，在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过所述骨干网络输出特征图具体包括：
将具有行人属性和行人身份标注的行人图片进行缩放处理，并进行随机剪裁和按概率垂直翻转的预处理，得到预定像素的的行人图片I；
将行人图片I输入到经过ImageNet数据集预训练的ResNet50骨干网络中，通过所述骨干网络输出特征图将特征图T分别输入行人属性分支和行人身份分支。
4.根据权利要求3所述的方法，其特征在于，将所述特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出所述行人图片的多维特征具体包括：
在行人身份分支中，特征图T经过全局平局池化层，得到f∈R2048的多维特征，并根据公式1，对多维特征f采用三元组损失函数进行优化：
其中，n是源域图片的总数，f是锚点，fp是正样本，fn是负样本；
将优化后的多维特征f经过批量标准化BN层，得到并根据公式2，采用交叉熵函数计算行人身份损失：
其中，n是源域图片的总数，是源域的第i张图片，是该图片的身份标签，指对行人图片预测为其类别的概率；
在行人属性分支中，特征图T经过一个瓶颈层得到对T′分块得到上半部分和下半部分分别对T′、T1、T2使用平均池化层得到全局特征局部特征和
根据属性的语义信息和空间位置分组，每组分别在对应的特征后添加分类器，再经过BN层得到属性预测值，并根据公式3和公式4计算属性的交叉熵损失：
其中，xij是行人图片Ii的第j个属性的预测分数，yil是真实的标签，N是数据集所有图片的数量，KA是属性集合的个数。
5.根据权利要求4所述的方法，其特征在于，在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对所述多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注具体包括：
将目标域未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型中，通过行人身份分支输出通过行人属性分支输出全局特征局部特征和将和拼接起来，得到在目标域上，所有的无标签的行人图片都生成了如公式5所示的三种特征向量集合：
对每个特征向量集合聚类分别得到一系列簇，每个簇作为一个行人身份标签，每个行人图片都获得伪标注，其中，每张图片包括三种特征向量，得到对应的如公式6所示的伪标注分别是：和
通过行人属性分支对目标域进行属性识别，输出属性特征其中，Ka是属性集合的个数，对进行聚类，得到另一类伪标注通过对对和进行筛选，获得最终的行人图片的伪标注。
6.一种基于行人属性的多任务网络跨域行人重识...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。