一种基于动量网络和对比学习的行人重识别方法及系统技术方案

本发明专利技术公开了一种基于动量网络和对比学习的行人重识别方法及系统，该方法包括：获取行人图片并进行标注处理；初始化动量网络和主干网络；提取行人图片特征；对行人图片平均特征集合进行对比损失计算并更新主干网络和动量网络；对行人图片平均特征集合进行层次聚类处理并赋予伪标签；对聚类结果进行对比损失计算并更新主干网络和动量网络；更新行人图片平均特征集合；多次对行人重识别模型进行迭代优化，输出优化后的行人重识别模型。本发明专利技术通过设计动量网络减轻数据训练过程中噪声的干扰，能够在降低人工标注成本的情况下提高行人重识别效果。本发明专利技术作为一种基于动量网络和对比学习的行人重识别方法及系统，可广泛应用于计算机视觉技术领域。算机视觉技术领域。算机视觉技术领域。

【技术实现步骤摘要】
一种基于动量网络和对比学习的行人重识别方法及系统


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种基于动量网络和对比学习的行人重识别方法及系统。

技术介绍

[0002]随着深度学习的发展，神经网络技术应用在越来越多的场景中，而行人重识别作为计算机视觉领域一个热门的研究方向，也越来越受到重视，行人重识别(Re
‑
ID)主要解决在不同摄像头下对同一行人进行检索和匹配的问题，通过将待查询行人图像特征与检索库中的行人图像特征进行比较排序，得到最终的检索结果。行人重识别在智慧城市、安防等领域具有广泛的应用场景和重大的现实意义，在行人图片的标注过程中，对同一摄像头下的行人进行标注相对较易，于是近年来有学者提出一种摄像头内有监督，跨摄像头无监督的弱监督行人重识别设定，希望在降低行人标注成本的同时，能取得较好的模型性能，但该方向下的现有技术，并没有充分利用好单个摄像头下的行人图片数据标签，以及对跨摄像头下的行人图片进行关联时没有较好地考虑关联约束，取得的模型性能较差。

技术实现思路

[0003]为了解决上述技术问题，本专利技术的目的是提供一种基于动量网络和对比学习的行人重识别方法及系统，能够在降低人工标注成本的情况下提高行人重识别效果。
[0004]本专利技术所采用的第一技术方案是：一种基于动量网络和对比学习的行人重识别方法，包括以下步骤：
[0005]获取行人图片并进行标注处理，得到具有单摄像头下标签的行人图片数据集；
[0006]基于使用预训练的深度卷积神经网络模型分别对行人重识别模型中的动量网络和主干网络进行初始化，得到初始化后的动量网络和初始化后的主干网络；
[0007]基于初始化后的动量网络对具有单摄像头下标签的行人图片数据集进行特征提取处理，得到行人图片平均特征集合；
[0008]基于初始化后的主干网络对行人图片平均特征集合进行单摄像头下的对比损失计算并依次更新初始化后的主干网络和初始化后的动量网络，得到第一更新主干网络和第一更新动量网络；
[0009]基于第一更新动量网络对行人图片平均特征集合进行层次聚类处理并赋予伪标签，得到聚类结果；
[0010]基于第一更新主干网络对聚类结果进行跨摄像头下的对比损失计算并反向传播，依次更新第一更新主干网络和第一更新动量网络，得到第二更新主干网络和第二更新动量网络；
[0011]基于第二更新动量网络更新行人图片平均特征集合，得到更新后的行人图片平均特征集合；
[0012]循环层次聚类算法步骤和跨摄像头下的对比损失计算步骤对行人重识别模型进
行多次迭代优化，直至迭代次数达到预设值，输出优化后的行人重识别模型；
[0013]根据优化后的行人重识别模型进行跨摄像头行人重识别应用。
[0014]进一步，所述获取行人图片并进行标注处理，得到具有单摄像头下标签的行人图片数据集这一步骤，其具体包括：
[0015]基于多个摄像头获取行人图片，构建行人图片数据集；
[0016]基于行人图片数据集对每个摄像头下的行人图片进行标注，得到具有单摄像头下标签的行人图片数据集。
[0017]进一步，所述基于初始化后的动量网络对具有单摄像头下标签的行人图片数据集进行特征提取处理，得到行人图片平均特征集合这一步骤，其具体包括：
[0018]基于初始化后的动量网络对具有单摄像头下标签的行人图片数据集进行特征提取处理，得到行人图片特征；
[0019]对同一摄像头下同一行人的行人图片特征取平均，整合得到行人图片平均特征集合。
[0020]进一步，所述单摄像头下的对比损失计算采用对比损失计算，公式如下：
[0021][0022]上式中，L表示第一损失值，c表示摄像头的索引值，N
c
表示在摄像头c下的行人标签总数，D
c
表示摄像头c下的行人图片平均特征集合，j、k表示单摄像头下行人图片平均特征集合的索引值，f(x
i
)表示样本x
i
的特征，表示与摄像头c下的样本x
i
对应的所有标签为j的行人图片平均特征集合，τ表示调节因子。
[0023]进一步，所述基于第一更新动量网络对行人图片平均特征集合进行层次聚类处理并赋予伪标签，得到聚类结果这一步骤，其具体包括：
[0024]基于更新后的动量网络计算单摄像头下的行人平均特征集合的特征融合权重，得到特征融合权重值；
[0025]根据特征融合权重值对行人平均特征集合进行处理，得到融合后的行人平均特征集合；
[0026]根据融合后的行人平均特征集合，计算融合后的行人平均特征集合中不同摄像头下不同行人图片特征之间的jaccard距离，并构建距离集合；
[0027]对距离集合进行遍历排序处理，得到聚类结果；
[0028]对聚类结果中不同摄像头下的同一行人图片特征赋予相同的伪标签。
[0029]进一步，所述跨摄像头下的对比损失计算采用解耦对比损失计算，公式如下：
[0030][0031]上式中，L表示第二损失值，N表示具有伪标签的样本总数，f(x
i
)表示样本x
i
的特征，m
j
表示与样本x
i
具有相同伪标签的单摄像头下的行人图片平均特征集合，P表示样本x
i
所属聚类中包含的来自不同摄像头的正样本行人数，N
neg
表示负样本行人的采样数量，m
k
表示与样本x
i
距离较近的属于其它聚类的负样本单摄像头下的行人图片平均特征集合，τ表示调节因子，
·
]+
表示当值为负时取值为0。
[0032]进一步，所述基于第二更新动量网络更新行人图片平均特征集合，得到更新后的行人图片平均特征集合这一步骤，其具体包括：
[0033]基于第二更新动量网络对具有单摄像头下标签的行人图片数据集进行特征提取并取平均，得到提取后的行人图片平均特征集合；
[0034]基于提取后的行人图片平均特征集合更新行人图片平均特征集合，得到更新后的行人图片平均特征集合。
[0035]进一步，所述返回层次聚类算法步骤和跨摄像头下的对比损失计算步骤对行人重识别模型进行多次迭代优化，直至迭代次数达到预设值，输出优化后的行人重识别模型这一步骤，其具体包括：
[0036]对行人重识别模型的迭代优化次数进行判断；
[0037]判断到行人重识别模型的迭代优化次数未达到预设值，重复层次聚类算法和跨摄像头下的对比损失计算对行人重识别模型的迭代优化；
[0038]判断到行人重识别模型的迭代优化次数达到预设值，输出优化后的行人重识别模型。
[0039]本专利技术所采用的第二技术方案是：一种基于动量网络和对比学习的行人重识别的系统，包括：
[0040]数据标注处理模块，用于对行人图片数据集进行标注处理得到具有单摄像头下标签的行人图片数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动量网络和对比学习的行人重识别方法，其特征在于，包括以下步骤：获取行人图片并进行标注处理，得到具有单摄像头下标签的行人图片数据集；基于使用预训练的深度卷积神经网络模型分别对行人重识别模型中的动量网络和主干网络进行初始化，得到初始化后的动量网络和初始化后的主干网络；基于初始化后的动量网络对具有单摄像头下标签的行人图片数据集进行特征提取处理，得到行人图片平均特征集合；基于初始化后的主干网络对行人图片平均特征集合进行单摄像头下的对比损失计算并依次更新初始化后的主干网络和初始化后的动量网络，得到第一更新主干网络和第一更新动量网络；基于第一更新动量网络对行人图片平均特征集合进行层次聚类处理并赋予伪标签，得到聚类结果；基于第一更新主干网络对聚类结果进行跨摄像头下的对比损失计算并反向传播，依次更新第一更新主干网络和第一更新动量网络，得到第二更新主干网络和第二更新动量网络；基于第二更新动量网络更新行人图片平均特征集合，得到更新后的行人图片平均特征集合；循环层次聚类算法步骤和跨摄像头下的对比损失计算步骤对行人重识别模型进行多次迭代优化，直至迭代次数达到预设值，输出优化后的行人重识别模型；根据优化后的行人重识别模型进行跨摄像头行人重识别应用。2.根据权利要求1所述一种基于动量网络和对比学习的行人重识别方法，其特征在于，所述获取行人图片并进行标注处理，得到具有单摄像头下标签的行人图片数据集这一步骤，其具体包括：基于多个摄像头获取行人图片，构建行人图片数据集；基于行人图片数据集对每个摄像头下的行人图片进行标注，得到具有单摄像头下标签的行人图片数据集。3.根据权利要求2所述一种基于动量网络和对比学习的行人重识别方法，其特征在于，所述基于初始化后的动量网络对具有单摄像头下标签的行人图片数据集进行特征提取处理，得到行人图片平均特征集合这一步骤，其具体包括：基于初始化后的动量网络对具有单摄像头下标签的行人图片数据集进行特征提取处理，得到行人图片特征；对同一摄像头下同一行人的行人图片特征取平均，整合得到行人图片平均特征集合。4.根据权利要求3所述一种基于动量网络和对比学习的行人重识别方法，其特征在于，所述单摄像头下的对比损失计算采用对比损失计算，公式如下：上式中，L表示第一损失值，c表示摄像头的索引值，N
c
表示在摄像头c下的行人标签总数，D
c
表示摄像头c下的行人图片平均特征集合，j、k表示单摄像头下行人图片平均特征集合的索引值，f(x
i
)表示样本x
i
的特征，表示与摄像头c下的样本x
i
对应的所有标签为j的
行人图片平均特征集合，τ表示调节因子。5.根据权利要求4所述一种基于动量网络和对比学习的行人重识别方法，其特征在于，所述基于第一更新动量网络对行人图片平均特征集合进行层次聚类处理并赋予伪标签，得到聚类结果这一步骤，其具体包括：基于更新后的动量网络计算单摄像头下的行人平均特征集合的特征融合权重，得到特征融合权重值；根据特征融合权重...

【专利技术属性】
技术研发人员：谢晓华，胡仕腾，赖剑煌，
申请(专利权)人：中山大学，
类型：发明
国别省市：