一种融合关系特征与内容特征的无监督行人重识别方法技术

本发明专利技术公开了一种融合关系特征与内容特征的无监督行人重识别方法；该方法利用自编码器和图自编码器分别提取行人图像内容特征与行人图像结构内容特征，并将两者融合，提升了行人图像特征判别力；自适应更新了行人图像之间的关系，减少了由于缺乏真实标签导致的行人图像结构关系图中存在错误、冗余连接的难题；最后通过重建误差优化自编码器和图自编码器，并使用优化好的自编码器提取行人图像特征，实现无监督行人重识别。现无监督行人重识别。现无监督行人重识别。

【技术实现步骤摘要】
一种融合关系特征与内容特征的无监督行人重识别方法


[0001]本申请涉及计算机视觉
，特别是涉及一种融合关系特征与内容特征的无监督行人重识别方法。

技术介绍

[0002]目前，随着视频监控网络的广泛部署，行人重识别技术作为智能视频监控系统中的关键一环，已成为计算机视觉和多媒体分析等领域的热门研究方向。行人重识别技术的目标是判断不同监控摄像头下捕获到的不同行人图像是否具有相同的身份，该技术能在海量的跨摄像头视频监控数据中对目标行人进行快速有效地查找。近几年基于监控视频数据的行人重识别任务吸引了越来越多的关注，研究人员已经开发了许多有效的算法来解决这个问题，然而这些算法的学习过程依赖于精确的跨相机行人身份标注数据，代价十分昂贵。
[0003]为了解决这一问题，近年来基于图像聚类的无监督行人重识别方法得到了广泛研究。大多数提出的方法通过交替地进行行人图像伪标签分配和行人重识别模型参数更新的方式来逐步利用未标记数据，总体可以分为三步：1、特征提取，通过模型提取训练数据集中行人图像的特征；2、行人聚类，通过聚类方法，如DBSCAN、k
‑
means等方法，将提取的行人特征聚成不同的类别，为每个类别分配一个伪标签，并用带有伪标签的数据来训练模型；3、特征存储于更新，在模型训练过程中，随着网络参数的变化同步地更新行人图像的特征。
[0004]然而，这些方法通常只考虑了行人图像自身的特征，忽略了数据之间的关系，因此无法很好地处理行人衣着、姿态多变等因素导致的困难样本。

技术实现思路
r/>[0005]本专利技术的目的在于克服现有行人重识别技术无法充分利用行人之间关系特征与行人表现特征导致行人识别效果不理想的问题，提供了一种融合关系特征与内容特征的无监督行人重识别方法。
[0006]本专利技术提供了一种融合关系特征与内容特征的无监督行人重识别方法，该方法包括：
[0007]S1：从监控视频中获取行人图像数据集；所述行人图像数据集包括训练集与测试集；
[0008]S2：提取训练集中各行人图像的初始特征表示，并对所述初始特征表示进行特征归一化操作；基于归一化的各所述初始特征表示计算训练集中行人图像之间的距离相似性，进而构建行人图像结构关系图；
[0009]S3：基于归一化的所述初始特征表示，并采用自编码器获取行人图像内容特征；基于所述行人图像结构关系图，并采用图自编码器获取行人图像结构内容特征；
[0010]S4：将所述行人图像内容特征与所述行人图像结构内容特征进行融合，得到融合的行人图像特征；基于所述融合的行人图像特征重建出行人图像的内容特征、行人图像的关系特征以及连接关系；
[0011]S5：基于归一化的所述初始特征表示、所述内容特征、所述关系特征计算重建损失；基于所述连接关系更新行人图像结构关系图；
[0012]S6：基于重建损失优化所述自编码器和所述图自编码器；迭代S3
‑
S6；
[0013]S7：基于优化后的自编码器提取测试集中行人图像的特征，并对所述特征进行计算以及排序，排序结果即为行人重识别结果。
[0014]优选的，S1中，所述训练集记为：D＝{I
i
|i＝1,2,...,N}；I
i
表示训练集中第i张行人图像，N表示行人图像的数量；所述测试集包括目标行人图像子集和候选行人图像子集；在所述目标行人图像子集中，行人身份与行人图像一一对应；在所述候选行人图像子集中，行人身份对应一张或者多张行人图像。
[0015]优选的，S2中，采用预训练好的无监督特征表征模型提取训练集中各行人图像的初始特征表示，归一化的初始特征表示记为：X＝{x
i
|i＝1,2,...,N}；x
i
表示训练集中第i张行人图像的归一化的初始特征表示，N表示行人图像的数量。
[0016]优选的，S2中，构建行人图像结构关系图的过程包括：
[0017]所述距离相似性包括余弦距离和杰卡德距离；
[0018]余弦距离计算公式为：
[0019][0020]杰卡德距离计算公式为：
[0021][0022]定义基于定义杰卡德距离计算公式变形为：
[0023][0024]R(x
i
,k)＝{x|x∈top
k
(x
i
)&x
i
∈top
k
(x)}
[0025]其中，s
i,j
表示训练集中第i张与第j张行人图像之间的余弦距离；x
i
表示训练集中第i张行人图像的归一化的初始特征表示；x
j
表示训练集中第j张行人图像的归一化的初始特征表示；d
i,j
表示训练集中第i张与第j张行人图像之间的杰卡德距离；top
k
(x
i
)表示训练集中第i张行人图像的k近邻图像；x表示满足条件x∈top
k
(x
i
)&x
i
∈top
k
(x)的样本，v
i,j
表示满足x
j
∈R(x
i
,k)的第i张与第j张行人图像之间的余弦距离；(v
i
,v
j
)表示样本对；
[0026]基于余弦距离和杰卡德距离计算近邻关系值，计算公式为：
[0027]A
i,j
＝λs
i,j
+(1
‑
λ)d
i,j
[0028]其中，A
i,j
表示训练集中第i张与第j张行人图像之间的近邻关系值，λ为第一超参数；
[0029]基于近邻关系值计算公式计算训练集中两两行人图像之间的近邻关系值，以行人图像为节点，节点属性为归一化的初始特征表示，将节点与其它节点之间的k近邻关系作为
边，并以两两行人图像之间的近邻关系值为边的权重，构建出所述行人图像结构关系图。
[0030]优选的，S3中，
[0031]将归一化的所述初始特征表示输入至所述自编码器，提取自编码器隐空间特征表示作为行人图像内容特征；所述行人图像内容特征记为：
[0032]将所述行人图像结构关系图输入至所述图自编码器，提取图自编码器隐空间特征表示作为所述行人图像结构内容特征；所述行人图像结构内容特征记为：
[0033]其中，σ()表示非线性激活函数；表示自编码器中第l
‑
1层的特征表示；表示自编码器的第l层权重参数；表示图自编码器中第l
‑
1层的特征表示；表示图自编码器的第第l层权重参数。
[0034]优选的，S4中，
[0035]将所述行人图像内容特征与所述行人图像结构内容特征进行融合，计算公式为：
[0036]Z
F
＝αZ
A本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合关系特征与内容特征的无监督行人重识别方法，其特征在于，包括：S1：从监控视频中获取行人图像数据集；所述行人图像数据集包括训练集与测试集；S2：提取训练集中各行人图像的初始特征表示，并对所述初始特征表示进行特征归一化操作；基于归一化的各所述初始特征表示计算训练集中行人图像之间的距离相似性，进而构建行人图像结构关系图；S3：基于归一化的所述初始特征表示，并采用自编码器获取行人图像内容特征；基于所述行人图像结构关系图，并采用图自编码器获取行人图像结构内容特征；S4：将所述行人图像内容特征与所述行人图像结构内容特征进行融合，得到融合的行人图像特征；基于所述融合的行人图像特征重建出行人图像的内容特征、行人图像的关系特征以及连接关系；S5：基于归一化的所述初始特征表示、所述内容特征、所述关系特征计算重建损失；基于所述连接关系更新行人图像结构关系图；S6：基于重建损失优化所述自编码器和所述图自编码器；迭代S3
‑
S6；S7：基于优化后的自编码器提取测试集中行人图像的特征，并对所述特征进行计算以及排序，排序结果即为行人重识别结果。2.根据权利要求1所述的融合关系特征与内容特征的无监督行人重识别方法，其特征在于，S1中，所述训练集记为：D＝{I
i
|i＝1,2,
…
,N}；I
i
表示训练集中第i张行人图像，N表示行人图像的数量；所述测试集包括目标行人图像子集和候选行人图像子集；在所述目标行人图像子集中，行人身份与行人图像一一对应；在所述候选行人图像子集中，行人身份对应一张或者多张行人图像。3.根据权利要求2所述的融合关系特征与内容特征的无监督行人重识别方法，其特征在于，S2中，采用预训练好的无监督特征表征模型提取训练集中各行人图像的初始特征表示，归一化的初始特征表示记为：X＝{x
i
|i＝1,2,...,N}；x
i
表示训练集中第i张行人图像的归一化的初始特征表示，N表示行人图像的数量。4.根据权利要求3所述的融合关系特征与内容特征的无监督行人重识别方法，其特征在于，S2中，构建行人图像结构关系图的过程包括：所述距离相似性包括余弦距离和杰卡德距离；余弦距离计算公式为：杰卡德距离计算公式为：定义基于定义杰卡德距离计算公式变形为：
R(x
i
,k)＝{x|x∈top
k
(x
i
)&x
i
∈top
k
(x)}其中，s
i,j
表示训练集中第i张与第j张行人图像之间的余弦距离；x
i
表示训练集中第i张行人图像的归一化的初始特征表示；x
j
表示训练集中第j张行人图像的归一化的初始特征表示；d
i,j
表示训练集中第i张与第j张行人图像之间的杰卡德距离；top
k
(x
i
)表示训练集中第i张行人图像的k近邻图像；表示训练集中第j张行人图像的归一化的初始特征表示的转置，x表示满足条件x∈top
k
(x
i
)&x
i
∈top
k
(x)的样本，v
i,j
表示满足x
j
∈R(x
i
,k)的第i张与第j张行人图像之间的余弦距离；(v
i
,v
j
)表示样本对；基于余弦距离和杰卡德距离计算近邻关系值，计算公式为：A
i,j
＝λs
i,j
+(1
‑
λ)d
i,j
其中，A
i,j
表示训练集中第i张与第j张行人图像之间的近邻关系值，λ为第一超参数；基于近邻关系值计算公式计算训练集中两两行人图像之间的近邻关系值，以行人图像为节点，节点属性为归一化的初始特征表示，将节点与其它节点之间的k近邻关系作为边，并以两两行人图像之间的近邻关系值为边的权重，构建出所述行人图像结构关系图。5.根据权利要求4所述的融合关系特征与内容特征的无监督行人重识别方法，其特征在于，S3中，将归一化的所述初始特征表示输入至所述自编码器，提取自编码器隐空间特征表示作为行人图像内容特征；所述行人图像内容特征记为：将所述行人图像结构关系图输入至所述图自编码器，提取图自编码器隐空间特征表示作为所述行人图像结构内容特征；所述行人图像结构内容特征记为：其中，σ()表示非线性激活函数；表示自编码器中第l
‑
1层的特征表示；表示自编码器的第l层权重参数；表示图自编码器中第l
‑
1层的特征表示；表示图自编码器的第第l层权重参数。6.根据权...

【专利技术属性】
技术研发人员：王学平，夏丽云，代建华，邵展鹏，
申请(专利权)人：湖南师范大学，
类型：发明
国别省市：