一种基于联合训练策略的无监督行人重识别方法技术

本发明专利技术属于人工智能与行人重识别领域，公开了一种基于联合训练策略的无监督行人重识别方法。针对摄像机间域间隙较大的问题，提出了一种摄像机间不变性特征学习方法，旨在让模型学习到可以区分不同摄像机下的不变性特征的能力。包括以下步骤：行人图像特征提取；聚类并分配伪标签；计算行人质心和摄像机质心；挖掘边缘特征和摄像机间不变性特征；行人实例特征和摄像机质心的更新；利用对比损失更新模型的参数。通过使用本发明专利技术可以有效的减少标签噪声，降低了摄像机间域间隙，并显著提高行人重识别的精度。本发明专利技术作为一种基于联合训练策略的无监督行人重识别方法，可广泛应用于行人重识别领域。识别领域。识别领域。

【技术实现步骤摘要】
一种基于联合训练策略的无监督行人重识别方法


本专利技术属于人工智能与行人重识别领域，特别涉及一种基于联合训练策略的无监督行人重识别方法。

技术介绍

行人重识别主要是对行人图像进行匹配，针对给定的行人图像找出与其同一类别的行人图像。行人重识别技术在智慧城市，智能安保等领域发挥着至关重要的作用，可应用的领域如犯罪嫌疑人的跟踪，失踪人口的搜寻，人流量的统计等等。近年来，有监督行人重识别任务已经取得了很大的进步，但是由于大规模监控系统的需求量大，监控数据不断增加，加上昂贵的标记成本，对大量人工标注的依赖大大限制了它的应用。因此，无监督行人重识别任务逐渐受到越来越多的关注，它可以直接从未标记数据中学习，具有更强的可扩展性，而且在工业领域中具有很大应用价值。目前无监督行人重识别任务研究的主要方法一般分为三类，(1)使用无监督域自适应方法来调整源域和目标域之间的特征分布。(2)利用摄像机感知方法使模型可以学习到区分不同摄像机下样本特征的能力。(3)通过聚类方法在目标域上生成用于训练的伪标签，并给相似图像分配相同的伪标签。第一类把无监督行人重识别任务定义为迁移学习任务，这类任务通常使用源域和目标域两个数据集，并采用源域上有标记的数据集来辅助训练。后两类是在完全无监督的情况下训练行人重识别模型。相对比无监督域自适应行人重识别方法，完全无监督行人重识别方法更具应用价值。这是因为当源域和目标域的特征分布差别较大时，很难获得高质量的伪标签，往往会因为标签噪声太多而影响性能。而且现实应用中，有标签的样本获取难度较大，这样也限制了无监督域自适应方法的应用。完全无监督行人重识别方法可以只利用未标记的图像来训练深度模型，因此在工业领域上更具实用价值，且应用更为广泛。本专利技术主要针对完全无监督行人重识别领域，并提出一种基于联合训练策略的无监督行人重识别方法。近年来流行的无监督行人重识别方法主要是采用聚类算法对未标记样本分配伪标签，然后对实例特征库进行更新并计算质心，最后利用对比学习损失来优化模型。对比学习在无监督行人重识别领域中表现出了良好的性能。Ge等人提出了一种自步对比学习框架，该框架通过动态更新包含源域和目标域数据集特征的混合特征库，然后进行对比学习(Yixiao Ge,Feng Zhu,Dapeng Chen,Rui Zhao,et al.Self
‑
paced contrastive learning with hybrid memory for domain adaptive object re
‑
id.[C]//Advances in Neural Information Processing Systems,NeurIPS.2020:11309
–
11321)。由于视点、照明条件和背景等的变化，人的外观在不同摄像机视图中有所不同。通常，相同类型的行人在同一摄像机视图中相似度较高，在不同摄像机下外观差异较大，因此如何降低摄像机产生的域间隙也是无监督行人重识别的研究热点之一。目前的研究的方向通常在训练层面上让模型学习到摄像机间的不变性特征。Yang等人提出了一种摄像机感知元学习来减轻噪声样本的负面影响，并学习了摄像机间不变性特征(Fengxiang Yang,Zhun Zhong,Zhiming Luo,
et al.Joint Noise
‑
Tolerant Learning and Meta Camera Shift Adaptation for Unsupervised Person Re
‑
Identification[C]//in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,CVPR.2021:4855
–
4864)。尽管现有方法是有效的，但忽略了两个重要因素。(1)标签噪声的影响。在每一次迭代的过程中，实例特征是不断被更新的，这不可避免地会引入标签噪声，因此准确的更新实例特征能够有效的优化实例特征的聚类分布，降低标签噪声的影响。(2)摄像机间不变性特征的学习。摄像机间的不变性特征是每个摄像机中最难区分相同身份的样本，具有较大的摄像机间域间隙。聚类算法很难将所有摄像机中具有相同身份的难例样本聚类到同一个集合中，而且在无监督行人重识别中缺乏真实标签，无法进行真正的有监督学习，这让模型无法有效的学习到摄像机间不变性特征。本专利技术旨在于解决上述两个关键的无监督行人重识别问题。对于第一个问题，本专利技术专利提出一种集中式动量更新策略，旨在于优化聚类分布来降低标签噪声的影响。对于第二个问题，本专利技术提出了一种摄像机间不变性特征学习方法，旨在让模型学习到可以区分不同摄像机下的不变性特征样本的能力，因此来降低摄像机间的域间隙并提升无监督行人重识别的性能。

技术实现思路

为了解决上述技术问题，本专利技术的目的是提供一种基于联合训练策略的无监督行人重识别方法。该方法可以利用集中式动量更新策略来优化全局聚类分布，并且利用摄像机间不变性特征学习方法来让模型学习到可以区分不同摄像机下的不变性特征样本的能力，因此降低了标签噪声的影响和摄像机间的域间隙，提升无监督行人重识别的性能。一种基于联合训练策略的无监督行人重识别方法，包括以下步骤：步骤1：对行人图像进行划分，分成训练集和测试集；步骤2：使用加载预训练模型的CNN网络提取训练集的行人特征；步骤3：计算行人特征之间的相似度,并利用密度聚类算法对特征之间相似度进行聚类并生成伪标签；步骤4：去掉离群特征，利用伪标签和对应的行人特征构建新的行人训练集；步骤5：提取步骤4构建的行人训练集来初始化行人质心和摄像机质心。计算具有相同伪标签的行人特征的算数平均值作为行人质心，计算具有相同摄像机ID的行人特征的算数平均值作为摄像机质心。步骤6：使用ResNet50网络提取步骤4构建的行人训练集中的行人特征。接着执行集中式动量更新策略，该策略的具体内容为：计算具有相同伪标签的行人特征与步骤5得到的行人质心之间的相似度，把相似度最小的行人特征表示为边缘特征。利用边缘特征更新所属相同伪标签下的全部行人实例特征。然后进行摄像机间不变性特征学习，该方法的具体内容为：首先计算具有相同摄像机ID的行人特征与步骤5得到的摄像机质心的相似度，把相似度最大的行人特征表示为摄像机不变性特征，然后利用该特征更新所属相同伪标签下的全部行人实例特征和所属相同摄像机ID下的摄像机质心。最后利用更新后的行人实例特征计算行人质心。
步骤7：使用步骤4构建的行人训练集提取行人查询样本，并利用该样本和步骤6得到的行人质心计算对比学习损失并更新模型的参数。
[0017]步骤8：将测试集图像输入步骤7经过训练得到的最佳CNN模型来提取图像的行人特征。通过计算查询集和测试集中行人图像的特征距离，即可得到无监督行人重识别结果。进一步地，步骤2的具体过程如下：选定的CNN为加载ImageNet预训练模型的ResNet50，并删除其最后一层分类层。把训练集所有图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联合训练策略的无监督行人重识别方法，其特征在于，步骤如下：步骤1：对行人图像进行划分，分成训练集和测试集；步骤2：使用加载预训练模型的CNN网络提取训练集的行人特征；选定的CNN为加载ImageNet预训练模型的ResNet50，并删除其最后一层分类层；把训练集所有图像输入到ResNet50中，假设提取第i幅图像的行人特征φ(x
i
)，则形成的特征空间V(φ(x1),φ(x2),...,φ(x
n
))；步骤3：使用Jaccard相似度公式计算行人特征之间的相似度，并利用密度聚类算法对特征之间相似度进行聚类并生成伪标签；使用相似度公式计算行人特征之间的相似度，计算公式如下：其中，s
i
和s
j
分别表示第i和第j个行人特征，J(s
i
,s
j
)表示行人特征s
i
和s
j
之间的相似度，∩表示交集，∪表示并集；得到行人特征之间的相似度之后利用密度聚类为每一个行人特征X＝{x1,x2,
…
,x
M
,x
M+1
,
…
,x
N
}分配伪标签Y＝{y1,y2,...,y
M
,y
M+1
,...,y
N
}；步骤4：去掉离群特征，利用伪标签和对应的行人特征构建新的行人训练集；经过步骤3得到伪标签Y＝{y1,y2,
…
,y
M
,y
M+1
,
…
,y
N
}和对应训练集中行人特征X＝{x1,x2,...,x
M
,x
M+1
,...,x
N
}，其中Y＝{y
M+1
,...,y
N
}是聚类产生的离散值伪标签，对应的离散值特征为X＝{x
M+1
,...,x
N
}，最后去除掉离散值的训练集为X＝{x1,x2,...,x
M
}，对应的伪标签为Y＝{y1,y2,...,y
M
}；步骤5：提取步骤4构建的行人训练集来初始化行人质心和摄像机质心；计算具有相同伪标签的行人特征的算数平均值作为行人质心，计算具有相同摄像机ID的行人特征的算数平均值作为摄像机质心；经过步骤4得到去除掉离散值的训练集X＝{x1,x2,...,x
M
}和伪标签Y＝{y1,y2,...,y
M
}，提取第i类伪标签的行人特征X
i
＝{x1,x2,...,x
n
}，并计算该特征集合的平均值作为第i类行人质心，计算公式如下：其中，是一个d维向量，属于第i个聚类集合中的第n个行人实例特征；α
i
表示第i个聚类集合下的所有行人实例特征，|
·
|表示该聚类集合下的所有行人实例特征的数量，V
i
是第i类行人质心；提取第k个摄像机下的行人特征Y
k
＝{y1,y2,

【专利技术属性】
技术研发人员：刘雨轩，葛宏伟，孙亮，候亚庆，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：