基于自监督代理特征学习的无监督行人重识别方法技术

本发明专利技术公开了一种基于自监督代理特征学习的无监督行人重识别方法，该方法通过将源域的有监督信息、目标域的相似度一致性信息以及跨域的自监督约束联合建模到一个端到端的框架中，能够高效地减少域间差异，从而提取出域不变且具有鉴别力的身份特征，最终实现对目标域图像更加精准的检索。

Unsupervised pedestrian recognition based on self supervised agent feature learning

【技术实现步骤摘要】
基于自监督代理特征学习的无监督行人重识别方法
本专利技术涉及智能安防领域，尤其涉及一种基于自监督代理特征学习的无监督行人重识别方法。
技术介绍
行人重识别是利用计算机视觉技术判断图像或者视频中是否存在特定行人的技术，即给定一张监控行人图像，计算机自动检索周边其他监控设备捕捉到的该行人图像。行人重识别技术可以弥补目前固定摄像头的视觉局限，在安防和监控领域有着重要应用，例如，行为分析，感兴趣行人(罪犯或恐怖分子等)搜寻以及长期跟踪等。目前的行人重识别技术大多基于距离度量学习或者特征学习的方法。虽然借助于深度神经网络的发展，这些方法的效果获得了巨大的提升，但是模型的训练需要依托于大量的跨设备行人标记数据。由于标注和收集监控图像十分耗费人力和时间，因此这些方法在实际应用中十分受限。为了解决上述问题，无监督的行人重识别方法应运而生。其利用域适应技术，试图将在有标签的源域中学习到的知识迁移到无标签的目标域中。然而，由于域间存在巨大的域差异，这些方法难以在目标域提取到有鉴别力的身份特征。
技术实现思路
本专利技术的目的是提供一种基于自监督代理特征学习的无监督行人重识别方法，能够实现对目标域图像更加精准的检索。本专利技术的目的是通过以下技术方案实现的：一种基于自监督代理特征学习的无监督行人重识别方法，包括：构建无监督行人重识别的网络模型，包括：特征重构模块，引入代理特征作为连接源域和目标域的桥梁，分别利用源域图像样本的特征及目标域图像样本的特征，与代理特征的相似度，来重构出源域图像样本特征及目标域图像样本特征；源域的有监督学习模块，利用重构的源域图像样本特征对源域进行有监督的标签学习；跨域自监督约束模块，利用重构的源域图像样本特征以及重构的目标域图像样本特征进行跨域的自监督学习；目标域的相似度一致性模块，利用目标域图像样本的特征进行目标域的相似度一致性学习；通过不断的迭代学习，获得训练好的无监督行人重识别的网络模型；利用训练好的无监督行人重识别的网络模型在目标域图像样本中实现行人重识。由上述本专利技术提供的技术方案可以看出，通过将源域的有监督信息、目标域的相似度一致性信息以及跨域的自监督约束联合建模到一个端到端的框架中，能够高效地减少域间差异，从而提取出域不变且具有鉴别力的身份特征，最终实现对目标域图像更加精准的检索。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种基于自监督代理特征学习的无监督行人重识别网络模型的示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例提供一种基于自监督代理特征学习的无监督行人重识别方法，通过构建如图1所示的无监督行人重识别的网络模型来实现行人重识别，如图1所示，相关网络模型主要包括：特征重构模块、源域的有监督学习模块、跨域自监督约束模块以及目标域的相似度一致性模块。1、特征重构模块。所述特征重构模块，引入代理特征作为连接源域和目标域的桥梁，分别利用源域图像样本的特征及目标域图像样本的特征，与代理特征的相似度，来重构出源域图像样本特征及目标域图像样本特征。优选实施方式如下：引入了一组代理特征：作为连接源域和目标域的桥梁，进而学习到一个判别力强的联合空间；其中，Nc为代理特征总数。对于一个图像样本xm，通过主干网络(例如，ResNet50网络)提取相应的特征fm。为了在源域和目标域间建立起联系，先计算特征fm与代理特征的相似度：其中，smk表示图像样本特征fm和第k个代理特征间ak的相似度，k＝1,2,…,Nc，T为矩阵转置符号。将计算出来的特征相似度smk视为对应代理特征ak的权重，对所有加权后的代理特征smkak求和，以此来构建图像样本的重构特征：其中，m＝s,i或者t,j；m＝s,i时，xs,i、fs,i以及表示源域图像样本、提取到的特征以及重构的特征；m＝t,j时，xt,j、ft,j以及表示目标域图像样本、提取到的特征以及重构的特征。图1所示的Si、Sj表示源域和目标域中一个图像样本与所有代理特征之间的相似度集合，表示为：i、j分别为源域和目标域中图像样本的序号。2、源域的有监督学习模块。所述源域的有监督学习模块，利用重构的源域图像样本特征对源域进行有监督的标签学习。优选实施方式如下：首先，通过对源域图像样本xs,i进行有监督的分类，训练模型获得基础的身份鉴别能力。已知源域图像样本数目为Ns，p(yi|xs,i)表示对于源域图像样本xs,i正确预测其标签为yi的概率；相应的交叉熵损失表示为：然后，为了在源域和代理特征间建立联系，使用重构的源域图像特征来指导源域分类学习，表示源域图像样本xs,i的重构特征，wyi表示标签yi所对应的全连接层(FC层)权重；则重构的源域图像特征指导的源域分类损失函数表示为：最终，源域有监督的标签学习损失函数定义为：LTs＝Ls+βLAs其中，β为自设定的超参数，表示标签yk所对应的全连接层权重。如图1所示，有监督的标签学习中，识别到的ID是指身份标签，例如，行人1、行人2等。3、跨域自监督约束模块。所述跨域自监督约束模块，利用重构的源域图像样本特征以及重构的目标域图像样本特征进行跨域的自监督学习；优选实施方式如下：由于域偏差和完全不同的行人身份，不同域的样本特征分布差异巨大。为了减少域间偏差，从而将源域知识迁移到目标域，本专利技术实施例中，设计自监督信息：图像样本的特征和其重构特征间的相似度大于任意跨域图像样本对间的相似度。基于此，设置图像样本的特征和其重构特征形成了正样本对：fs,i与以及ft,j与设置重构的图像样本特征喝跨域相似特征形成了难负样本对：ft,j与以及fs,i与再将形成的样本对分别整合到以源域为中心的跨域三元组损失函数以及以目标域为中心的跨域三元组损失函数中：其中，α为距离阈值；fs,i表示源域图像样本xs,i的特征，为重构的源域图像样本xs,i的特征；ft,j表示目标域图像样本xt,j的特征，为重构的目标域图像样本xt,j的特征；Ns、Nt分别为源域、目标域中图像样本的总数；则跨域的自监督学习的损失函数定义为：4、目标域的相似度一致性模块。所述目标域的相似度一致性模块，利用目标域图像样本的特征进行目标域的相似度一致性学习；优选实施方式如下：本文档来自技高网...

【技术保护点】
1.一种基于自监督代理特征学习的无监督行人重识别方法，其特征在于，包括：/n构建无监督行人重识别的网络模型，包括：特征重构模块，引入代理特征作为连接源域和目标域的桥梁，分别利用源域图像样本的特征及目标域图像样本的特征，与代理特征的相似度，来重构出源域图像样本特征及目标域图像样本特征；源域的有监督学习模块，利用重构的源域图像样本特征对源域进行有监督的标签学习；跨域自监督约束模块，利用重构的源域图像样本特征以及重构的目标域图像样本特征进行跨域的自监督学习；目标域的相似度一致性模块，利用目标域图像样本的特征进行目标域的相似度一致性学习；通过不断的迭代学习，获得训练好的无监督行人重识别的网络模型；/n利用训练好的无监督行人重识别的网络模型在目标域图像样本中实现行人重识。/n

【技术特征摘要】
1.一种基于自监督代理特征学习的无监督行人重识别方法，其特征在于，包括：
构建无监督行人重识别的网络模型，包括：特征重构模块，引入代理特征作为连接源域和目标域的桥梁，分别利用源域图像样本的特征及目标域图像样本的特征，与代理特征的相似度，来重构出源域图像样本特征及目标域图像样本特征；源域的有监督学习模块，利用重构的源域图像样本特征对源域进行有监督的标签学习；跨域自监督约束模块，利用重构的源域图像样本特征以及重构的目标域图像样本特征进行跨域的自监督学习；目标域的相似度一致性模块，利用目标域图像样本的特征进行目标域的相似度一致性学习；通过不断的迭代学习，获得训练好的无监督行人重识别的网络模型；
利用训练好的无监督行人重识别的网络模型在目标域图像样本中实现行人重识。


2.根据权利要求1所述的一种基于自监督代理特征学习的无监督行人重识别方法，其特征在于，所述引入代理特征作为连接源域和目标域的桥梁，分别利用源域图像样本的特征及目标域图像样本的特征，与代理特征的相似度，来重构出源域图像样本特征及目标域图像样本特征包括：
引入了一组代理特征：作为连接源域和目标域的桥梁，进而学习到一个联合空间；其中，Nc为代理特征总数；
对于一个图像样本xm，通过主干网络提取相应的特征fm，再计算特征fm与代理特征的相似度：



其中，smk表示图像样本特征fm和第k个代理特征间ak的相似度，k＝1，2，...，Nc；
将计算出来的特征相似度Smk视为对应代理特征ak的权重，对所有加权后的代理特征smkak求和，以此来构建图像样本的重构特征：



其中，m＝s，i或者t，j；m＝s，i时，xs，i、fs，i以及表示源域图像样本、提取到的特征以及重构的特征；m＝t，j时，xt，j、ft，j以及表示目标域图像样本、提取到的特征以及重构的特征。


3.根据权利要求1所述的一种基于自监督代理特征学习的无监督行人重识别方法，其特征在于，利用利用重构的源域图像样本特征对源域进行有监督的标签学习包括：
首先，通过对源域图像样本xs，i进行有监督的分类，训练模型获得基础的身份鉴别能力；
已知源域图像样本数目为Ns，p(yi|xs，i)表示对于源域图像样本xs，i正确预测其标签为yi的概率；相应的交叉熵损失表示为：



然后，使用重构的源域图像特征来指导源域分类学习，表示源域图像样本xs，i的重构特征，表示标签yi所对应的全连接层权重；则重构的源域图像特征指导的源域分类损失...

【专利技术属性】
技术研发人员：张勇东，张天柱，姜孔竹，李岩，邓旭冉，
申请(专利权)人：北京中科研究院，中国科学技术大学，
类型：发明
国别省市：北京;11