基于异构双网络和特征一致性的行人重识别模型训练方法技术

本发明专利技术公开了一种基于异构双网络和特征一致性的域自适应行人重识别模型训练方法、设备、装置及计算机存储介质和行人重识别方法，本发明专利技术设计了一个异构双网络框架，它包含两个非对称分支，其中一个使用感受野有限的卷积来获取局部信息，另一个使用Transformer模块来捕获长程依赖，利用异构双网络的互学习来提高网络间的异质性和互补性，从而提高对噪声伪标签的鲁棒性；为了减少网络在优化过程中受噪声伪标签的干扰，提出了特征一致性损失，其不需要依赖任何标签信息，更关注样本在特征空间的一致性；为了增强网络的语义信息，本发明专利技术设计了一个自适应通道互感知模块，对行人的显著性区域进行特征提取，从而提高了行人重识别的精度与效率。度与效率。度与效率。

【技术实现步骤摘要】
基于异构双网络和特征一致性的行人重识别模型训练方法


[0001]本专利技术涉及机器视觉
，尤其是指一种基于异构双网络和特征一致性的域自适应行人重识别模型训练方法、设备、装置及计算机存储介质和行人重识别方法。

技术介绍

[0002]行人重识别在机器视觉领域是一个非常重要的研究课题，传统的行人重识别主要是利用大量有标签的图像数据在特定场景下进行训练。虽然有监督学习方法已经取得很好的效果，但是获取有标记数据需要耗费大量的人力和物力。此外，在实际应用中，行人在不同场景下外观、背景和光照条件都是不同的，从而导致在一个数据集上训练的模型不能够很好的直接应用到另一个数据集上，因此如何将行人重识别模型泛化到其他域是一个研究难点。
[0003]无监督域自适应旨在将从有标记的源域数据集学习到的知识应用于未标记的目标域数据集上。其中基于聚类生成的伪标签方法被证明是有效的，它利用源域预训练得到的模型，在目标域中进行特征提取和聚类，聚类得到的伪标签作为真实标签进行常规的行人重识别模型的训练。但该方法仍然存在以下问题：(1)由于未知的目标域身份数量和不精确的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行人重识别模型训练方法，其特征在于，包括：预先构建行人重识别异构双网络，所述行人重识别异构双网络包括第一分支网络、第二分支网络和双分支自适应通道互感知模块，所述第二分支网络包括Transformer模块；所述双分支自适应通道互感知模块用于同时对所述第一分支网络提取的局部特征和所述第二分支网络中Transformer模块提取的全局特征进行增强并将其拼接；将无标签目标域图像输入利用有标签的源域数据集预训练后的所述行人重识别异构双网络中；获取所述第一分支网络的第一时间平均模型和所述第二分支网络的第二时间平均模型；将所述第一时间平均模型提取的特征与所述第二时间平均模型提取的特征的平均值进行聚类，生成硬伪标签；利用所述第一时间平均模型与所述第二时间平均模型预测所述无标签目标域图像，生成软伪标签；构建特征一致性损失函数，以便利用所述第一时间平均模型提取的特征监督所述第二分支网络提取的特征，利用所述第二时间平均模型提取的特征监督所述第一分支网络提取的特征；利用所述硬伪标签分别训练所述第一分支网络和所述第二分支网络直至分类损失函数和三元组损失函数收敛；利用所述软伪标签分别作为对方网络真值标签进行相互监督训练直至软分类函数、软三元组损失函数和特征一致性函数收敛；计算三元组损失函数、分类损失函数、软三元组损失函数、软分类损失函数及特征一致性损失函数的总损失作为训练目标，更新优化所述行人重识别异构双网络。2.根据权利要求1所述的行人重识别模型训练方法，其特征在于，所述Transformer模块采用ResT的第三阶段的网络结构。3.根据权利要求1所述的行人重识别模型训练方法，其特征在于，所述将无标签目标域图像输入利用有标签的源域数据集预训练后的所述行人重识别异构双网络前包括：将所述有标签的源域数据集同时输入所述第一分支网络和第二分支网络，所述有标签的源域数据集包括源域图像和真值标签；将所述第一分支网络提取的局部图像特征和所述第二分支网络提取的全局增强特征分别输入所述双分支自适应通道互感知模块；所述局部图像特征经过全局最大池化得到最大特征，所述全局增强特征经过全局平均池化得到平均特征；将所述平均特征和所述最大特征经过全连接操作得到对应概率分布；利用三元组损失函数和分类损失函数作为训练目标对所述预先构建的行人重识别异构双网络进行优化得到预训练完成的所述行人重识别异构双网络。4.根据权利要求1所述的行人重识别模型训练方法，其特征在于，所述获取所述第一分支网络的第一时间平均模型和所述第二分支网络的第二时间平均模型包括：计算第一分支网络参数θ1的移动平均值得到第一时间平均模型参数θ
′1；计算第二分支网络参数θ2的移动平均值得到第二时间平均模型参数θ
′2。
5.根据权利要求1所述的行人重识别模型训练方法，其特征在于，所述将所述第一时间平均模型提取的特征与所述第二时间平均模型提取的特征的平均值进行聚类，生成硬伪标签包括：将所述第一时间平均模型提取的特征与所述第二时间平均模型提取的特征的平均值作为聚类特征；利用DBSCAN聚类算法将每个所述无标签目标域图像聚成不同的类别，并为其分配硬伪标...

【专利技术属性】
技术研发人员：孔军，周花，蒋敏，
申请(专利权)人：江南大学，
类型：发明
国别省市：