基于层次聚类与困难样本三元组的无监督行人重识别方法技术

本发明专利技术涉及一种基于层次聚类与困难样本三元组的无监督行人重识别方法，包括：1)将行人图像集合划分为训练集和测试集；2)初始化标签；3)将训练集输入CNN模型中，提取行人特征，进行模型训练；4)对行人特征进行层次聚类，分配到簇中；5)根据簇类别进行抽样，得到新的训练集；6)根据困难样本三元组损失函数，对新的训练集进行微调；7)根据训练集的平均轮廓系数，判断返回步骤3)或是判定出最佳CNN模型；9)将测试集载入最佳CNN模型中获取行人重识别结果。与现有技术相比，本发明专利技术不但可以解决无标签的数据集行人重识别中个体数目无法确定的问题，同时降低了不同类的高度相似样本被聚到一类的概率，使模型的识别性能得到较大的提高。高。高。

【技术实现步骤摘要】
基于层次聚类与困难样本三元组的无监督行人重识别方法


[0001]本专利技术涉及无监督行人重识别
，尤其是涉及基于层次聚类与困难样本三元组的无监督行人重识别方法。

技术介绍

[0002]随着城市人口的不断增长，社会公共安全问题越来越受到人们的重视，当前在许多公共场所都覆盖有大规模的网络摄像头，是监控安防的重要保障。为了提升网络摄像头的安防智能水平，行人重识别技术是如今视觉分析领域的研究热点，得到了学术界的广泛重视。行人重识别目的是在非重叠视角域多摄像头网络下进行的行人匹配，即确认不同位置的摄像头在不同的时刻拍摄到的行人目标是否为同一人。
[0003]行人重识别问题可以转化为计算样本的相似度或者距离，然后根据所计算的相似度或距离对样本进行排序，进而找到与查询样本属于同一个人的图像。然而，行人重识别的研究面临着诸如图像分辨率低、视角变化、姿态变化、光线变化以及遮挡等带来的诸多挑战。当前行人重识别方法主要通过基于特定场景下大量带标签的视频图像数据训练一个稳定可靠的模型，这类监督学习方法忽略了在实际应用中模型对新场景的适应性，并且需要大量的手工标注数据，而手工标注工作是昂贵的，不适用大规模的真实世界的数据集。因此发展无监督行人重识别技术具有重要应用价值。Fan等人提出采用k
‑
means聚类和CNN模型迭代训练预测无标签行人图像的伪标签并学习判别性特征。对于复杂的行人图像，原始的特征空间具有高度的非线性和不可分性，聚类效果不太理想。Zheng等人提出一种渐进式无监督学习的方法，先在有标签的数据集上初始化CNN模型，然后在行人特征聚类和CNN模型微调之间迭代优先。此方法需要额外利用源数据集中的标签来改善网络性能。目前单纯的无监督行人重识别方法由于没有标签来为模型提供必要的信息导致其准确度低，对行人图像的判别性特征学习困难，相关技术亟需突破。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在无监督行人重识别方法难以从行人图像中提取判别性特征和识别准确率低的缺陷而提供一种基于层次聚类与困难样本三元组的无监督行人重识别方法。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]一种基于层次聚类与困难样本三元组的无监督行人重识别方法，包括以下步骤：
[0007]1)将待处理的行人图像集合划分为训练集和测试集；
[0008]2)为所述训练集中的每个图像分配初始化的标签，设置训练阶段号的初始值为1；
[0009]3)将所述训练集的所有图像及其标签输入预先建立的CNN模型中，提取行人特征，进行模型训练；
[0010]4)对所述提取出的行人特征的特征集合进行从底向上的层次聚类，将相似的图像分配到同一簇中，根据簇分配结果，对图像的标签进行更新；
[0011]5)对步骤4)得到的簇类别进行抽样，重组得到新的训练集；
[0012]6)根据困难样本三元组损失函数，对步骤5)中重组得到新的训练集进行微调；
[0013]7)计算步骤6)得到的所述训练集的平均轮廓系数；
[0014]8)将步骤3)至7)作为一个训练阶段，计算当前训练阶段与上一时刻训练阶段中所述平均轮廓系数的差值，若该差值大于预设的差值变化阈值，则采用步骤7)得到的训练集返回步骤3)，并将所述训练阶段号的数值加一；若该差值小于所述差值变化阈值，则以此时的训练集的聚类簇数为横坐标、以平均轮廓系数为纵坐标，绘制评估系数曲线图，并将该评估系数曲线图中曲线拐点对应的聚类簇数作为最佳聚类簇数、将采用该最佳聚类簇数的训练集训练得到的CNN模型作为最佳CNN模型；
[0015]9)将所述测试集载入所述最佳CNN模型中提取行人特征，并计算该行人特征与所述训练集对应的行人特征之间的距离，获取所述训练集中距离最小的行人图像对应的标签作为行人重识别结果。
[0016]进一步地，所述CNN模型的建立过程包括获取预训练后的ResNet50模型，将该ResNet50模型中最后一层的分类层替换为一个全连接层，该全连接层的输出维度为当前训练阶段中训练集中的簇数目。
[0017]进一步地，所述CNN模型的目标函数为log对数损失函数，该log对数损失函数的计算表达式为：
[0018][0019][0020]式中，表示预测图像x
i
属于簇的概率，V
j
表示第j个簇的聚类中心，其取值为第j个簇中所有行人特征的均值，表示第个簇的聚类中心，C
k
表示当前第k阶段的簇数目，C1＝N，α∈(0,1)为平衡各个类别概率分布的参数，υ表示将特征归一化，按照计算得到；
[0021]进行反向传播时，按照更新图像x
i
所在的簇的聚类中心的特征；用最小化目标函数对CNN模型进行训练，直到收敛为止。
[0022]进一步地，步骤4)中，所述层次聚类具体为：
[0023]根据单个图像初始化簇，按照两个簇之间的相似度由大到小合并成新的簇，直到簇的数量不在变化为止；
[0024]所述两个簇之间的相似度的计算表达式为：
[0025][0026]式中，为C
a
簇的样本，为C
b
簇的样本，n
a
为C
a
的样本个数，n
b
为C
b
的样本个数，D(
·
)为欧式距离。
[0027]进一步地，步骤5)中，所述抽样具体为：
[0028]采用PK抽样法从P个簇类别中随机的抽取K个样本组合成所述新的数据集。
[0029]进一步地，步骤6)中，所述困难样本三元组损失函数L
triplet
的计算表达式为：
[0030][0031]式中，为锚点，与为有相同标签的正样本，与为有不同标签的负样本，m为困难样本三元组损失的超参数余量，D(
·
)表示欧式距离。
[0032]进一步地，步骤7)中，所述平均轮廓系数的计算过程包括：计算当前训练阶段所有图像的轮廓系数，将该所有图像的轮廓系数的平均值作为当前训练阶段的平均轮廓系数；
[0033]所述轮廓系数的计算表达式为：
[0034][0035]式中，s
(i)
为第i幅图像x
i
的轮廓系数，其中i＝1,2,......,N，a
(i)
为x
i
图像所在簇的内聚度，取值为x
i
所在同簇内与其他图像之间的平均距离；b
(i)
为图像x
i
与最近簇的分离度，取值为图像x
i
与最近簇中所有图像之间的平均距离，所述的最近簇是指簇中所有图像与图像x
i
的平均距离最小的那个簇。
[0036]进一步地，步骤2)中，所述为训练集中的每个图像分配初始化的标签具体为：
[0037]所述初始化的标签为无行人身份信息的标签，设训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，包括以下步骤：1)将待处理的行人图像集合划分为训练集和测试集；2)为所述训练集中的每个图像分配初始化的标签，设置训练阶段号的初始值为1；3)将所述训练集的所有图像及其标签输入预先建立的CNN模型中，提取行人特征，进行模型训练；4)对所述提取出的行人特征的特征集合进行从底向上的层次聚类，将相似的图像分配到同一簇中，根据簇分配结果，对图像的标签进行更新；5)对步骤4)得到的簇类别进行抽样，重组得到新的训练集；6)根据困难样本三元组损失函数，对步骤5)中重组得到新的训练集进行微调；7)计算步骤6)得到的所述训练集的平均轮廓系数；8)将步骤3)至7)作为一个训练阶段，计算当前训练阶段与上一时刻训练阶段中所述平均轮廓系数的差值，若该差值大于预设的差值变化阈值，则采用步骤7)得到的训练集返回步骤3)，并将所述训练阶段号的数值加一；若该差值小于所述差值变化阈值，则以此时的训练集的聚类簇数为横坐标、以平均轮廓系数为纵坐标，绘制评估系数曲线图，并将该评估系数曲线图中曲线拐点对应的聚类簇数作为最佳聚类簇数、将采用该最佳聚类簇数的训练集训练得到的CNN模型作为最佳CNN模型；9)将所述测试集载入所述最佳CNN模型中提取行人特征，并计算该行人特征与所述训练集对应的行人特征之间的距离，获取所述训练集中距离最小的行人图像对应的标签作为行人重识别结果。2.根据权利要求1所述的一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，所述CNN模型的建立过程包括获取预训练后的ResNet50模型，将该ResNet50模型中最后一层的分类层替换为一个全连接层，该全连接层的输出维度为当前训练阶段中训练集中的簇数目。3.根据权利要求1所述的一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，所述CNN模型的目标函数为log对数损失函数，该log对数损失函数的计算表达式为：表达式为：式中，表示预测图像x
i
属于簇的概率，V
j
表示第j个簇的聚类中心，其取值为第j个簇中所有行人特征的均值，表示第个簇的聚类中心，C
k
表示当前第k阶段的簇数目，C1＝N，α∈(0,1)为平衡各个类别概率分布的参数，υ表示将特征归一化，按照计算得到；进行反向传播时，按照更新图像x
i
所在的簇的聚类中心的特征；用最小
化目标函数对CNN模型进行训练，直到收敛为止。4.根据权利要求1所述的一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，步骤4)中，所述层次聚类具体为：根据单个图像初始化簇，按照两个簇之间的相似度由大到小合并成新的簇，直到簇的数量不在变化为止；所述两个簇之间的相似度的计算表达式为：式中，为C
a<...

【专利技术属性】
技术研发人员：王福银，韩华，王春媛，黄丽，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：