一种基于联合距离矩阵与混合对比损失的行人重识别方法技术

本发明专利技术涉及图像处理技术领域，尤其涉及一种基于联合距离矩阵与混合对比损失的行人重识别方法，包括获取行人图片并进行预处理；使用实例级内存字典中的特征并结合相机偏移距离矩阵计算联合距离矩阵；然后采用DBSCAN算法进行聚类，生成伪标签；从训练样本中选取一定数量的查询样本输入到主干网络中提取查询样本的特征，用来与聚类内存字典中的特征进行混合对比损失的计算；提取全局平均池化层的特征，并使用欧氏距离进行检索。本发明专利技术通过设计一个联合距离矩阵引导相机感知聚类，缓解相机差异的影响，使得不同相机下的同一身份的图像更容易聚类；同时，使用混合对比损失策略，能够有效的利用样本之间的聚类信息，提升模型的性能。能。能。

【技术实现步骤摘要】
一种基于联合距离矩阵与混合对比损失的行人重识别方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于联合距离矩阵与混合对比损失的行人重识别方法。

技术介绍

[0002]近年来，自监督对比学习因其在无监督表征学习中的有效性而受到越来越多的关注，无监督方法的性能也依赖于特征表示学习。最近，先进的行人重识别方法使用内存字典来存储所有的实例特征，利用聚类生成的伪标签，并结合对比学习，取得了优异的性能。根据利用监督信息的方式不同，可以将对比学习分为两种：实例级对比学习和聚类级对比学习。
[0003]实例级对比学习依赖于样本的增强信息，它将每一个样本视为一个单独的类，并通过匹配利用不同数据扩充方法扩充的图像学习特征，但是在行人重识别数据集中，每一个类中不止一个正样本数据，因此这会导致每个类的更新进度不一致。另外，使用实例级对比损失，它挖掘的是每个样本的自监督信息，而没有充分考虑样本之间的结构性和相关性信息(如聚类信息)。对于聚类级对比学习，虽然获得了结构性信息和相关性信息，但是这对负样本数据而言，引入了过多的额外的结构性信息，而这种信息在实际应用中又是无用的。
[0004]在行人重识别任务中，相机差异是一个重要的影响因素。在行人重识别数据集中，不同摄像机拍摄的行人图像具有不同的姿势、光照、分辨率等。换句话说，即使属于同一个身份的行人图像，由于相机之间的差异，会导致两个实例之间存在严重的差异，尤其是在无监督场景下的重识别任务中，相机差异会影响伪标签的准确率。之前的一些工作中，考虑到相机差异因素的影响。虽然做了各种各样的尝试，但是如何在无监督场景下缓解伪标签的影响仍然是一个有待探索的问题。

技术实现思路

[0005]针对现有算法的不足，本专利技术通过设计一个联合距离矩阵引导相机感知聚类，缓解相机差异的影响，使得不同相机下的同一身份的图像更容易聚类；同时，使用混合对比损失策略，能够有效的利用样本之间的聚类信息，提升模型的性能。
[0006]本专利技术所采用的技术方案是：一种基于联合距离矩阵与混合对比损失的行人重识别方法包括以下步骤：
[0007]步骤一、获取行人图片数据集，并对图像进行预处理；
[0008]进一步的，预处理包括：进行随机数据增强，统一图片分辨率，将无标签行人图像输入特征提取模型中，确定行人图像的初始特征，并将提取到的特征存储到实例内存字典中；
[0009]进一步的，特征提取模型是通过深度残差网络Resnet50模型来提取行人图片的特征。
[0010]步骤二、使用实例级内存字典中的特征并结合相机偏移距离矩阵来计算联合距离
矩阵；然后采用DBSCAN算法进行聚类，生成伪标签；
[0011]进一步的，具体包括：
[0012]步骤21、将每个训练样本对应的摄像机ID表示为其中，N表示训练数据集中行人样本的个数，cam
i
表示当前第i个训练样本对应的相机标签，设置一个摄像机域偏移矩阵M
cam
∈N
cam
×
N
cam
，N
cam
表示摄像机的数量；
[0013]步骤22、通过原始距离矩阵M
i,j
和偏移矩阵M
cam
计算出一个联合距离矩阵
[0014]进一步的，原始距离矩阵M
i,j
的计算公式为：
[0015][0016]其中，f
θ
(x
i
)为主干网络提取出的样本特征；
[0017]步骤23、计算域偏移矩阵中相机u和相机v之间的差异；
[0018]进一步的，差异的计算公式为：
[0019][0020]其中，|f
θ
(x
i
)
u
|表示由相机u拍摄的实例样本的数量，|f
θ
(x
j
)
v
|表示由相机v拍摄的实例样本的数量；
[0021]步骤24、用原始距离矩阵减去域偏移矩阵的值作为惩罚项，得到联合距离矩阵；
[0022]进一步的，联合距离矩阵的公式为：
[0023][0024]其中，α是一个控制相机差异影响的参数，M
i,j
为原始距离矩阵，为域偏移矩阵中相机u和相机v之间的差异；
[0025]步骤三、从训练样本中选取一定数量的查询样本输入到主干网络中提取查询样本的特征，用来与聚类内存字典中的特征进行混合对比损失的计算；
[0026]进一步的，具体包括：
[0027]步骤31、利用输入图像和聚类质心特征之间的相似性计算对比损失；
[0028]进一步的，聚类质心表示为：
[0029][0030]其中，C
y
表示第y个聚类的质心，|F
y
|表示第y个聚类集合中所有特征的数量，f
i
表示一个样本的特征，且
[0031]步骤32、保留正样本的聚类信息，将相似的样本聚集在一起，同时将除正样本以外的所有其余样本作为负样本处理；
[0032]进一步的，混合对比损失的计算公式为：
[0033][0034]其中，表示第y个聚类的质心，用来表示正样本。表示当前不属于当前聚类的样本的集合。
[0035]步骤四、提取全局平均池化层的特征，并使用欧氏距离进行检索。
[0036]本专利技术的有益效果：
[0037]1、本专利技术方法与目前比较先进的无监督行人重识别算法JNTL、JGCL、SPCL、RSS和CACL进行对比，通过平均准确率(mAP)和在排名前k个列表中正确匹配的概率(Rank
‑
k)横向比较，可以看出，本专利技术综合性能明显优于其他算法。
附图说明
[0038]图1是本专利技术的基于联合距离矩阵与混合对比损失的行人重识别方法流程图；
[0039]图2为本专利技术方法与其他5种常用方法在Market
‑
1501数据集上的对比；
[0040]图3为本专利技术方法与其他5种常用方法在DukeMTMC数据集上的对比；
[0041]图4为本专利技术方法与其他5种常用方法在MSMT17数据集上的对比。
具体实施方式
[0042]下面结合附图和实施例对本专利技术作进一步说明，此图为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。
[0043]由于不同相机拍摄的图像风格不同，本专利技术提出了一个联合距离矩阵来缓解相机差异的影响。具体来说，对于每个相机内和相机间的情况，计算目标实例样本间的余弦相似度的平均值，这隐含地反映了由相机变化所引起的样本之间的距离差异。在每次开始聚类之前，根据实例样本对的相机标签，从实例样本对的相似度中减去相机域偏移矩阵的值，然后对每个实例样本的距离向量进行softmax操作。通过这种方式，可以缩小相机之间的差异，并且不同相机拍摄的相同身份的图像将更有可能被聚到同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联合距离矩阵与混合对比损失的行人重识别方法，其特征在于，包括以下步骤：步骤一、获取行人图片数据集，并对图像进行预处理；步骤二、使用实例级内存字典中的特征并结合相机偏移距离矩阵来计算联合距离矩阵；然后采用DBSCAN算法进行聚类，生成伪标签；步骤三、从训练样本中选取一定数量的查询样本输入到主干网络中提取查询样本的特征，用来与聚类内存字典中的特征进行混合对比损失的计算；步骤四、提取全局平均池化层的特征，并使用欧氏距离进行检索。2.根据权利要求1所述的基于联合距离矩阵与混合对比损失的行人重识别方法，其特征在于，预处理包括：对图像进行随机数据增强，统一图片分辨率，将无标签行人图像输入特征提取模型中，确定行人图像的初始特征，并将提取到的特征存储到实例内存字典中。3.根据权利要求2所述的基于联合距离矩阵与混合对比损失的行人重识别方法，其特征在于，特征提取模型是通过深度残差网络Resnet50模型来提取行人图片的特征。4.根据权利要求1所述的基于联合距离矩阵与混合对比损失的行人重识别方法，其特征在于，步骤二具体包括：步骤21、将每个训练样本对应的摄像机ID表示为设置一个摄像机域偏移矩阵M
cam
∈N
cam
×
N
cam
，N
cam
表示摄像机的数量；步骤22、通过原始距离矩阵M
i,j
和偏移矩阵M
cam
计算出一个联合距离矩阵步骤23、计算域偏移矩阵中相机u和相机v之间的差异；步骤24、用原始距离矩阵减去域偏移矩阵的值作为惩罚项，得到联合距离矩阵。5.根据权利要求4所述的基于联合距离矩阵与混合对比损失的行人重识别方法，其特征在于，原始距离矩阵M<...

【专利技术属性】
技术研发人员：王洪元，冯尊登，孙明浩，张继，丁宗元，
申请(专利权)人：常州大学，
类型：发明
国别省市：