基于深度聚类和样例学习的无监督行人重识别方法及系统技术方案

本发明专利技术公开了一种基于深度聚类和样例学习的无监督行人重识别方法及系统，包括：分别获取有监督源域的数据集，以及包含自然图像和不同相机风格图像的无监督目标域数据集；构建包含源域数据集分支网络和目标域数据集分支网络的网络结构；同时确定每一个分支网络的损失函数；将源域数据集和目标域数据集分别输入到网络结构中的两个分支网络；基于每一个分支网络的损失函数对所述网络结构进行优化训练；将待识别图像输入到训练好的网络结构中，由网络输出数据的预测分类，以实现对待识别图像的行人重识别。本发明专利技术将源域数据集和目标域数据集分支路网络进行训练，既考虑了源域数据和目标域数据之间的差异，又考虑了目标域数据之间的域内变化。

【技术实现步骤摘要】
基于深度聚类和样例学习的无监督行人重识别方法及系统
本专利技术涉及行人重识别
，尤其涉及一种基于深度聚类和样例学习的无监督行人重识别方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。行人重识别技术(Person-ReID)，也称为行人检索技术，是一种利用计算机视觉技术来确定一个特定的人是否和一张图像或视频序列中的技术。一般来说，给定一张行人图像，需要从各个设备中检索出为同一身份的行人图像，因此，行人重识别问题也被广泛认为是图像检索的一个子问题。行人重识别技术结合行人检测、行人跟踪技术，在公安侦查、智能安防、智能视频监控等领域具有很高的应用价值。行人重识别技术的研究开始于多摄像机跟踪技术，近几年来，随着卷积神经网络(CNN)和其他深度学习(DL)方法的进步，该技术取得了显著的进展。行人重识别技术主要包括有监督行人重识别和无监督行人重识别，有监督行人重识别主要是在数据集全部带有标签的情况下进行的，目前能够取得非常高的准确率，然而，有监督的数据集的数量往往是有限的，并且在有监督数据集上适用的行人重识别技术的扩展性和通用性不是很好。随着越来越多的无标签数据集涌现，无监督行人重识别的研究越来越重要。无监督行人重识别技术，是在源域的数据集有标签、目标域的数据集不带标签情况下进行，且通常两个数据集是不一样的，所以无监督行人重识别技术又被认为是无监督领域自适应(UDA)。近些年来，对无监督领域自适应问题的研究主要通过缩小源域的数据集和目标域的数据集在图像级别或者属性特征级别之间的最大平均值差异(MMD)来解决。但是，专利技术人发现，由于这种方法需要源域的数据集和目标域的数据集的标签完全一致，并不适用于具有未标记目标数据集的无监督行人重识别任务。聚类的方法被提出应用于无监督行人重识别的研究中，在降低源域的数据集和目标域的数据集的域内差异上有着重要作用，但是忽略了两个数据集之间的差异。现有技术提出一种无监督领域自适应的异构学习方法，该方法首先从数据集中挑选一张图片，然后利用StarGAN生成一系列不同风格的图片，和原始图片组成正样本对，将源域的图片和目标域的图片组成负样本对，输入为三元组进行训练。该方法对解决相机造成的图片差异和源域的数据集与目标域的数据集类别不同有一定的效果，但是，由于该方法的采样方式，忽略了数据集中潜在的正样本对，对图片中的每一批进行操作，而忽略了数据集的全局性。
技术实现思路
有鉴于此，本专利技术提出了一种基于深度聚类和样例学习的无监督行人重识别方法及系统，基于端到端的深度学习框架分别处理源域的数据集和目标域的数据集，通过不同的处理方法和损失函数进行约束，有助于提高行人重识别的检索精度。为了实现上述目的，在一些实施方式中，采用如下技术方案：基于深度聚类和样例学习的无监督行人重识别方法，包括：分别获取有监督源域的数据集，以及包含行人自然图像和不同相机风格图像的无监督目标域数据集；构建包含源域数据集分支网络和目标域数据集分支网络的网络结构；同时确定每一个分支网络的损失函数；将源域数据集和目标域数据集分别输入到网络结构中的两个分支网络；基于每一个分支网络的损失函数对所述网络结构进行优化训练；获取待识别的行人图像，将待识别的行人图像输入到训练好的网络结构中，输出数据的预测分类，以实现对待识别行人图像的行人重识别。在另一些实施方式中，采用如下技术方案：基于深度聚类和样例学习的无监督行人重识别系统，包括：用于分别获取有监督源域的数据集，以及包含行人自然图像和不同相机风格图像的无监督目标域数据集的装置；用于构建包含源域数据集分支网络和目标域数据集分支网络的网络结构；同时确定每一个分支网络的损失函数的装置；用于将源域数据集和目标域数据集分别输入到网络结构中的两个分支网络的装置；用于基于每一个分支网络的损失函数对所述网络结构进行优化训练的装置；用于获取待识别的行人图像的装置；用于将待识别的行人图像输入到训练好的网络结构中，输出数据的预测分类，以实现对待识别行人图像的行人重识别的装置。在另一些实施方式中，采用如下技术方案：一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的基于深度聚类和样例学习的无监督行人重识别方法。在另一些实施方式中，采用如下技术方案：一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于深度聚类和样例学习的无监督行人重识别方法。与现有技术相比，本专利技术的有益效果是：(1)据我们所知，之前的无监督跨域行人重识别方法大多数只考虑了源域数据集和目标域数据集的域间的差异，而忽略了目标域数据集的域内变化。本专利技术将源域数据集和目标域数据集分支路网络进行训练，既考虑了源域数据和目标域数据之间的差异，又考虑了目标域数据之间的域内变化。(2)本专利技术提出了一种基于深度聚类和样例学习的无监督跨域行人重识别方法，能够有效地提高行人识别准确率。使用基于DBSCAN方法的深度聚类模块对目标图像赋予伪标签，并使用样例样例存储模块存储样例特征以用于学习样例之间相似性进行正确分类；利用聚类排斥损失函数，能够有效地拉近目标图像与其所属类别之间的距离，扩大目标图像与其不同类别数据之间的距离，使网络更好地收敛。本专利技术的附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明图1为本专利技术实施例中基于深度聚类和样例学习的跨域无监督行人重识别方法流程图；图2为本专利技术实施例中基于深度聚类和样例学习的跨域无监督行人重识别方法的网络整体结构图；图3为本专利技术实施例中所使用的StarGAN简易模型；图4为本专利技术实施例中使用StarGAN生成的CamStyle图像示例。具体实施方式应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本专利技术使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。实施例一在一个或多个实施方式中，公开了一种基于深度聚类和样例学习的跨域无监督行人重识别方法，如图1所示，包括以下步骤：步骤1：构建网络结构，参照图2，包括处理源域的数据和目标数据的两个分支网络。(1)网络结构的主干部分由ResNe本文档来自技高网...

【技术保护点】
1.基于深度聚类和样例学习的无监督行人重识别方法，其特征在于，包括：/n分别获取有监督源域的数据集，以及包含行人自然图像和不同相机风格图像的无监督目标域数据集；/n构建包含源域数据集分支网络和目标域数据集分支网络的行人重识别网络结构；同时确定每一个分支网络的损失函数；/n将源域数据集和目标域数据集分别输入到网络结构中的两个分支网络；/n基于每一个分支网络的损失函数对所述网络结构进行优化训练；/n获取待识别的行人图像，将待识别的行人图像输入到训练好的网络结构中，输出数据的预测分类结果，以实现对待识别行人图像的行人重识别。/n

【技术特征摘要】
1.基于深度聚类和样例学习的无监督行人重识别方法，其特征在于，包括：
分别获取有监督源域的数据集，以及包含行人自然图像和不同相机风格图像的无监督目标域数据集；
构建包含源域数据集分支网络和目标域数据集分支网络的行人重识别网络结构；同时确定每一个分支网络的损失函数；
将源域数据集和目标域数据集分别输入到网络结构中的两个分支网络；
基于每一个分支网络的损失函数对所述网络结构进行优化训练；
获取待识别的行人图像，将待识别的行人图像输入到训练好的网络结构中，输出数据的预测分类结果，以实现对待识别行人图像的行人重识别。


2.如权利要求1所述的基于深度聚类和样例学习的无监督行人重识别方法，其特征在于，所述网络结构包括：主干网络以及分别与主干网络连接的源域数据集分支网络和目标域数据集分支网络；所述源域数据集分支网络包括依次连接的全连接层和Softmax回归层；所述目标域数据集分支网络包括并行连接的聚类模块和样例记忆力模块。


3.如权利要求2所述的基于深度聚类和样例学习的无监督行人重识别方法，其特征在于，所述样例记忆力模块作为目标域数据集的分类层；所述样例记忆力模块存储的数据包括：每一张图片经过主网络提取并标准化化后的特征、每张图片的名字标签以及经过聚类模块后的聚类结果。


4.如权利要求2所述的基于深度聚类和样例学习的无监督行人重识别方法，其特征在于，在对网络训练了20个epoch后，主网络提取了所有无监督图像的特征，然后使用聚类模块对特征进行聚类，获取每个图像的伪标签；使用聚类获得的伪标签作为样例存储模块中样例的标签，来更新网络。


5.如权利要求1所述的基于深度聚类和样例学习的无监督行人重识别方法，其特征在于，所述源域数据集分支网络的损失函数为交叉熵损失函数，以实现尽可能的正确分类，保持行人的原始身份。


6.如权利要求1所述的基于深度聚类和样例学习的无监督行人重...

【专利技术属性】
技术研发人员：张化祥，邵伟卓，刘丽，朱磊，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37