本发明专利技术公开了一种基于互学习的跨域行人重识别方法，包括基于互学习的目标域信息挖掘和基于互学习的训练策略两部分，利用互学习进行目标域信息挖掘步骤为：(1)利用源域和目标域进行训练，获得两个预训练模型；(2)利用两个模型提取特征，挖掘目标域中行人的近邻样本；(3)通过Jaccard距离生成伪标签；基于互学习的训练策略步骤为：(1)每个预训练模型为对等模型选择样本进行训练；(2)利用KL散度定义样本的孤立性并选择样本；(3)利用KL散度计算选择样本的rank矩阵；(4)每个模型通过对等模型构造的三元组对模型进行更新；(5)利用更新后的两个模型进行目标域信息挖掘，更新伪标签，并重新进行神经网络的训练，完成行人重识别。完成行人重识别。完成行人重识别。
【技术实现步骤摘要】
一种基于互学习的跨域行人重识别方法
[0001]本专利技术属于计算机视觉
，具体设计了一种基于互学习的跨域行人重识别方法，可以用于安防监控、视频分析等场景。
技术介绍
[0002]近年来，随着监控摄像头遍布世界各个角落，监控网络的覆盖面积正在全面提高，激增的海量数据进一步暴露了传统人工安防分析在时间效率和准确率上的缺陷。传统的安防分析系统主要依赖人工观看监控内容来发现问题，一方面由于大量视频无法及时快速查看，错过黄金应急时间，另一方面准确率不高。自从2014年深度学习引入到行人重识别领域中后，依靠大量标注的数据集和开源的网络结构，其准确率得到了很大的提高。但当在已有标注的数据集上进行训练的模型应用于新的无手工标注的场景时，其性能会大幅下降，这主要是由于不同场景的光照、背景和摄像头角度等导致的数据分布不一致所造成的。为了缓解这个问题，跨域行人重识别的主要任务便是如何将模型从源域有标注的数据中学到的知识和特征表达能力迁移到无标注的目标域数据上。由于跨域行人重识别可以给行人重识别的实际应用带来便利，因此成为工业界和学术界主要的研究方向。
[0003]目前无监督跨域行人重识方法受噪声伪标签、低质量样本、正负样本对距离分布差异等因素的影响，准确率相对于有监督行人重识别的准确率仍有较大差距，并且在实际场景中的应用较少，没有充分结合时间空间信息。
技术实现思路
[0004]本专利技术的技术解决问题：提供一种基于互学习的跨域行人重识别方法，有效的应用在没有行人身份标注的新场景下，有效减少训练模型中对标注的依赖，可以用于安防监控、视频分析等场景。
[0005]本专利技术的技术解决方案：针对以前方法中生成伪标签质量较低的问题，基于互学习进行目标域信息挖掘，结合两个模型的特征表达能力得到质量更高的伪标签。首先每个模型根据k
‑
reciprocal nearest neighbor策略进行近邻挖掘获得近邻集合，这样对每个样本可获得两个近邻集合，之后对两个近邻集合取交集获得置信度更高的近邻集合。两个集合互相做差集运算后，剩下的集合中也会存在正样本近邻，对集合中的每个样本利用对等模型的特征能力再使用k
‑ꢀ
reciprocal nearest neighbor策略进行近邻挖掘获得近邻集合，通过判断此近邻集合和上述交集集合的重合度来判断是否将此样本也加入最终的近邻集合。
[0006]针对伪标签作为监督信息必然存在噪声的问题，使用两个模型同时训练，每个模型为对等模型选择样本进行训练，有效缓解了误差累积的问题，防止了噪声造成模型退化的问题。对于分类损失，样本选择的标准为交叉熵损失的大小，对于三元组损失，样本选择的标准为孤立性。其中孤立性指的是是否能大概率在这个mini
‑
batch中找到和其同身份的样本，如果概率高则其孤立性低，反之，如果概率低则其孤立性高。在此使用KL散度作为衡
量样本之间身份概率分布相似度的指标，孤立性高的样本基本上与其他样本的相似度都比较低。
[0007]本专利技术的一种基于互学习的跨域行人重识别方法，包括：基于互学习的目标域信息挖掘方法和基于互学习的训练策略两部分内容；
[0008]所述基于互学习的目标域信息挖掘方法步骤为：
[0009](d1)利用有标注的源域数据集训练获得源域预训练模型，并通过源域预训练模型提取目标域数据特征，利用DBSCAN聚类算法生成伪标签进行训练，获得目标域预训练模型，互相称为对等模型；
[0010](d2)利用步骤(d1)中获得的两个预训练模型，计算得到目标域中每个行人的近邻集合；
[0011](d3)将步骤(d2)的近邻集合转换为Jaccard距离，进而通过DBSCAN聚类算法生成伪标签；
[0012]所述基于互学习的训练策略步骤为：
[0013](t1)步骤(d1)中的每个预训练模型分别为对等模型选择小交叉熵损失前80％的样本，并使用这部分样本通过分类损失更新对等模型的参数；
[0014](t2)利用步骤(t1)中更新后的每个模型生成的身份概率计算各样本间的KL散度，代表样本间的身份相似度；
[0015](t3)基于KL散度距离定义各样本的孤立性，步骤(t1)中每个模型为对等模型选孤立性排前80％的样本；
[0016](t4)利用KL散度计算步骤(t3)中选择样本的rank矩阵，确定三元组的正负样本对；
[0017](t5)步骤(t1)中每个模型通过对等模型构造的三元组，利用三元组损失进行参数更新；
[0018](t6)根据步骤(t5)中更新后的参数，重新进行目标域信息挖掘，生成更新后的伪标签，利用更新后的伪标签重新进行神经网络的训练；
[0019](t7)训练完成后得到特征模型，进行行人检索。
[0020]所述步骤(d1)包括如下步骤：
[0021](d1.1)利用有标注的源域数据进行训练，得到源域预训练模型；
[0022](d1.2)利用上述源域预训练模型作为特征模型，提取目标域每个样本的特征，并使用DBSCAN聚类算法生成伪标签；
[0023](d1.3)利用步骤(d1.2)中生成的伪标签在目标域数据集上进行初步训练，得到目标域预训练模型。
[0024]所述步骤(d2)包括如下步骤：
[0025](d2.1)利用步骤(d1)中获得的两个预训练模型提取目标域数据集中所有行人的特征并生成两个特征矩阵，根据两个特征矩阵和k
‑
reciprocalnearestneighbor策略为每个行人寻找近邻样本；
[0026](d2.2)基于两个预训练模型的一致性进行近邻挖掘，得到更为置信的近邻样本集合，抛弃掉筛选后剩下的样本；
[0027](d2.3)每个预训练模型，利用对等模型的特征表达能力，对步骤(d2.2)中放弃掉
的样本集合进行进一步挖掘，获取有效的近邻样本；
[0028](d2.4)将步骤(d2.2)和(d2.3)挖掘得到的近邻样本合并得到最终的近邻集合。
[0029]所述步骤(d3)包括如下步骤：
[0030](d3.1)根据步骤(d2.3)中得到的每个样本的近邻样本集合，将其转换为 Jaccard距离，得到距离矩阵；
[0031](d3.2)根据步骤(d3.1)中获得的距离矩阵，利用DBSCAN聚类算法为每个行人样本赋予伪标签，在此过程中，部分样本被划分为噪声样本；
[0032](d3.3)利用KNN策略为步骤(d3.2)中的噪声样本赋予伪标签；
[0033](d3.4)综合步骤(d3.2)和(d3.3)中的伪标签，得到目标域数据集最终的伪标签。
[0034]本专利技术与现有的技术相比的优点在于：
[0035](1)本专利技术重点是研究跨域行人重识别问题，提出了一种基于互学习的目标域信息挖掘方法，从而得到质量更高的监督信息。同时利用每个模型为对等模型进行样本选择来进行网络训练，缓解伪标本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于互学习的跨域行人重识别方法，其特征在于，包括：基于互学习的目标域信息挖掘方法和基于互学习的训练策略两部分内容；所述基于互学习的目标域信息挖掘方法步骤为：(d1)利用有标注的源域数据集训练获得源域预训练模型，并通过源域预训练模型提取目标域数据特征，利用DBSCAN聚类算法生成伪标签进行训练，获得目标域预训练模型，互相称为对等模型；(d2)利用步骤(d1)中获得的两个预训练模型，计算得到目标域中每个行人的近邻集合；(d3)将步骤(d2)的近邻集合转换为Jaccard距离，进而通过DBSCAN聚类算法生成伪标签；所述基于互学习的训练策略步骤为：(t1)步骤(d1)中的每个预训练模型分别为对等模型选择小交叉熵损失前80％的样本，并使用这部分样本通过分类损失更新对等模型的参数；(t2)利用步骤(t1)中更新后的每个模型生成的身份概率计算各样本间的KL散度，代表样本间的身份相似度；(t3)基于KL散度距离定义各样本的孤立性，步骤(t1)中每个模型为对等模型选孤立性排前80％的样本；(t4)利用KL散度计算步骤(t3)中选择样本的rank矩阵，确定三元组的正负样本对；(t5)步骤(t1)中每个模型通过对等模型构造的三元组，利用三元组损失进行参数更新；(t6)根据步骤(t5)中更新后的参数，重新进行目标域信息挖掘，生成更新后的伪标签，利用更新后的伪标签重新进行神经网络的训练；(t7)训练完成后得到特征模型，进行行人检索。2.根据权利要求1所述的基于互学习的跨域行人重识别方法，其特征在于：所述步骤(d1)包括如下步骤：(d1.1)利用有标注的源域数据进行训练，得到源域预训练模型；(d1....
【专利技术属性】
技术研发人员：周忠，吴威，刁其帅，张磊，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。