一种基于迁移学习的无监督行人重识别方法技术

本发明专利技术公开了一种基于迁移学习的无监督行人重识别方法，包括如下步骤：1)在带标签的源数据集上预训练CNN模型，采用交叉熵损失和三元度量损失作为目标优化函数；2)提取无标签的目标数据集行人特征；3)结合候选列距离和绝对距离计算特征相似度矩阵；4)对相似度矩阵进行密度聚类，为每个距离小于预设阈值的特征集合设置一个标签，重组成带标签的目标数据集；5)在重组数据集上训练CNN模型至收敛；6)以预设迭代次数重复步骤2)‑5)；7)将测试图片输入模型提取特征，根据特征相似度进行排序得到结果。本发明专利技术合理运用源领域有标签数据和目标领域无标签数据，在目标领域上提高行人重识别的准确率，降低对有标签数据的强依赖性。

An unsupervised pedestrian recognition method based on Transfer Learning

【技术实现步骤摘要】
一种基于迁移学习的无监督行人重识别方法
本专利技术涉及人工智能及安防监控领域，具体涉及一种基于迁移学习的无监督行人重识别方法。
技术介绍
随着城市人口的不断增长，社会公共安全问题越来越受到人们的重视，当前在许多公共场所都覆盖有大规模的摄像头网络，为监控安防提供了重要的设施基础。为了增强摄像头网络的安防水平质量，行人重识别技术在人员搜寻上也得到了广泛的关注。当前行人重识别方法主要通过基于特定场景下大量带标签的视频图像数据训练一个稳定可靠的模型，这类监督学习方法忽略了在实际应用中系统对新场景的适应性，并且依赖于大量带标签的行人数据，而标签工作往往需要耗费大量的人力和物力，不利于系统的部署。此外由于行人图像都存在光照变化，视角姿势变化与遮挡等诸多挑战，仅仅利用无标签的数据进行无监督学习也难以达到令人满意的性能。近年来，随着迁移学习研究的深入和发展，通过迁移带标签的源数据集的已有知识解决无标签的目标数据集的学习问题，实现了较高的识别准确率。但当前迁移学习主要解决不同数据域存在共同类别的问题，行人重识别在不同场景往往不存在相同的行人，故难以直接应用于解决行人重识别问题。因此如何利用旧场景的带标签行人数据以及新场景下的无标签行人数据进行迁移学习实现在新场景下的高识别准确率是目前亟待解决的问题。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种基于迁移学习的无监督行人重识别方法。本专利技术的目的可以通过采取如下技术方案达到：一种基于迁移学习的无监督行人重识别方法，所述的无监督行人重识别方法包括如下步骤：S1、在带标签的源数据集上预训练CNN模型，采用交叉熵损失和三元度量损失作为目标优化函数，训练CNN模型至收敛；S2、采用预训练的CNN模型提取无标签的目标数据集的行人特征；S3、结合候选列距离和绝对距离计算行人的特征相似度矩阵；S4、对相似度矩阵进行密度聚类，输出距离小于预设阈值的特征集合，每个特征集合设置为一个标签，重组成带标签的目标数据集；S5、在带标签的目标数据集上训练CNN模型至模型收敛；S6、以预设迭代次数重复步骤S2-S5；S7、将目标测试集图片输入训练好的CNN模型提取特征，根据特征相似度进行排序得到行人重识别结果，进而实现无监督的行人重识别方法。进一步地，所述的步骤S1包括：S1.1、选定CNN模型为Resnet模型，在Resnet模型的分类器前增加一层全连接层，修改分类器的类别数目为源数据集中行人的身份个数；S1.2、带标签的源数据集Ns为源数据集图片总数，输入到Resnet模型进行前向传播输出行人特征；S1.3、记模型输入的锚点样本为正样本为负样本为记f(I)为网络全局池化层的输出特征，三元度量损失和交叉熵损失分别表示为：其中θ为模型的参数，m为模型收敛时负样本对之间距离与正样本对之间距离的目标差值，pi为输入图像经过模型分类后的概率值，将目标优化函数表示为：Ltotal(θ)＝Ltri(θ)+Lentropy(θ)通过最小化目标函数Ltotal(θ)，迭代优化CNN模型至收敛。进一步地，所述的步骤S2中提取的行人特征为目标数据集输入到CNN模型在全局池化层得到的输出特征，其中，Nt为目标数据集图片总数。进一步地，所述的步骤S3包括：S3.1、采用欧式距离Deu计算行人特征的绝对距离；S3.2、利用行人的邻近成员信息计算行人的相似度，定义为候选列距离，对应任意两个行人A、B，定义RA、RB分别为行人A、B的匹配候选列，对于行人A而言，A与B的候选列距离表示为：其中fA(i)为行人A的候选列中的第i个行人，RA(B)为行人B在行人A的候选列中的索引，RB(fA(i))为行人A的候选列中的第i个行人在行人B的候选列中的索引，同理对于行人B而言，B与A的候选列距离表示为DR(B，A)，进一步对称和归一化候选列距离为：S3.3、通过绝对距离和候选列距离的组合表示行人的特征相似度矩阵：其中γ为比例参数。进一步地，所述的步骤S4中对相似度矩阵采用具有噪声的基于密度的空间聚类算法DBSCAN进行聚类，对满足阈值的特征集合设置伪标签，只将设置伪标签的行人数据构建成新的目标数据集。进一步地，所述的步骤S5中CNN模型采用步骤S2中预训练的CNN模型并去除分类器，分别取模型全局池化层和全连接层的输出特征计算三元度量损失，最小化损失函数迭代优化CNN模型至收敛。本专利技术相对于现有技术具有如下的优点及效果：(1)本专利技术通过在带标签的源数据集上预训练CNN模型，迁移至无标签的行人数据集，提高模型对目标数据集中行人判别性特征的学习能力；(2)本专利技术通过结合候选列距离和绝对距离构建行人的相似度矩阵，降低复杂场景行人特征相似度的误差，有效地提高行人检索匹配的准确率；(3)本专利技术通过DBSCAN聚类算法对目标数据集行人特征聚类和标签估计，基于伪标签进行监督学习，重复迭代训练网络至收敛，实现了逼近于带标签数据监督学习的性能，提高对新场景的适应性。附图说明图1是本专利技术公开的基于迁移学习的无监督行人重识别方法的流程图；图2是本专利技术公开的基于迁移学习的无监督行人重识别方法中网络模型结构图；图3是本专利技术公开的基于迁移学习的无监督行人重识别方法中迭代训练流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例如图1所示，本实施例公开了一种基于迁移学习的无监督行人重识别方法，该方法依次包括下列步骤：(1)源数据集模型预训练；(2)目标数据集特征提取与度量；(3)密度聚类与标签估计；(4)目标数据集的迭代训练。(1)源数据集模型预训练如图2所示，选定CNN模型为Resnet模型，在Resnet模型的分类器前增加一层2048维的全连接层，修改分类器的类别数目为源数据集中行人的身份个数。带标签的源数据集(Ns为源数据集图片总数)输入到Resnet模型进行前向传播，在全连接层输出2048维的行人特征，采用交叉熵损失和三元度量损失作为目标优化函数，训练模型至收敛。记模型输入的锚点样本为正样本为负样本为记f(I)为网络全局池化层的输出特征，三元度量损失和交叉熵损失分别表示为：其中θ为模型的参数，pi为输入图像经过模型分类后的概率值，m为模型收敛时负样本对之间距离与正样本对之间距离的目标差值，本专利技术取m＝0.5。目标优化函数表示为：Ltotal(θ)＝Ltri(θ)+Lentropy(θ)通过最小化目标函数Ltotal(θ)，迭代优化模型至收敛。(2)目标数据集特征提取与度量将目标数据集(Nt为目标数据集图片总数)输入到预训练的CNN模型，提取在全局池化层的输出特征。首先采用欧式距离Deu计算行人特征的绝对距离。然后利用行人的邻近成员信息计算行人的相似度，定义为候选列距离。任意两个行人A、B，定义RA、RB分别为行人A、B的匹配候选列，对于行人A而言，A与B的候选列距离表示为：其中fA(i)为行人A的候选列中的第i个行人，RA(B)为行人B在行人A的候选列中的索引，RB本文档来自技高网...

【技术保护点】
1.一种基于迁移学习的无监督行人重识别方法，其特征在于，所述的无监督行人重识别方法包括如下步骤：S1、在带标签的源数据集上预训练CNN模型，采用交叉熵损失和三元度量损失作为目标优化函数，训练CNN模型至收敛；S2、采用预训练的CNN模型提取无标签的目标数据集的行人特征；S3、结合候选列距离和绝对距离计算行人的特征相似度矩阵；S4、对相似度矩阵进行密度聚类，输出距离小于预设阈值的特征集合，每个特征集合设置为一个标签，重组成带标签的目标数据集；S5、在带标签的目标数据集上训练CNN模型至模型收敛；S6、以预设迭代次数重复步骤S2‑S5；S7、将目标测试集图片输入训练好的CNN模型提取特征，根据特征相似度进行排序得到行人重识别结果，进而实现无监督的行人重识别方法。

【技术特征摘要】
1.一种基于迁移学习的无监督行人重识别方法，其特征在于，所述的无监督行人重识别方法包括如下步骤：S1、在带标签的源数据集上预训练CNN模型，采用交叉熵损失和三元度量损失作为目标优化函数，训练CNN模型至收敛；S2、采用预训练的CNN模型提取无标签的目标数据集的行人特征；S3、结合候选列距离和绝对距离计算行人的特征相似度矩阵；S4、对相似度矩阵进行密度聚类，输出距离小于预设阈值的特征集合，每个特征集合设置为一个标签，重组成带标签的目标数据集；S5、在带标签的目标数据集上训练CNN模型至模型收敛；S6、以预设迭代次数重复步骤S2-S5；S7、将目标测试集图片输入训练好的CNN模型提取特征，根据特征相似度进行排序得到行人重识别结果，进而实现无监督的行人重识别方法。2.根据权利要求1所述的一种基于迁移学习的无监督行人重识别方法，其特征在于，所述的步骤S1包括：S1.1、选定CNN模型为Resnet模型，在Resnet模型的分类器前增加一层全连接层，修改分类器的类别数目为源数据集中行人的身份个数；S1.2、带标签的源数据集Ns为源数据集图片总数，输入到Resnet模型进行前向传播输出行人特征；S1.3、记模型输入的锚点样本为正样本为负样本为记f(I)为网络全局池化层的输出特征，三元度量损失和交叉熵损失分别表示为：其中θ为模型的参数，m为模型收敛时负样本对之间距离与正样本对之间距离的目标差值，pi为输入图像经过模型分类后的概率值，将目标优化函数表示为：Ltotal(θ)＝Ltri(θ)+Lentropy(θ)通过最小化目标函数Ltotal(θ)，迭代...

【专利技术属性】
技术研发人员：周智恒，陈增群，李波，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44