一种基于特征解耦学习的半监督行人重识别方法技术

本发明专利技术公开了一种基于特征解耦学习的半监督行人重识别方法，没有遵循伪标签和聚类等方法，而是构建了一个不依赖标签的变分自编码器的特征解耦行人重识别模型，具体首先设计一个具有共享模块和参数的双流自编码器的结构。对于编码器模块，本发明专利技术将行人图像及其水平翻转图像作为一对输入，并对深度特征进行编码，正确识别身份和结构信息。然后，对于解耦特征即身份特征、结构特征不同组合级联后的特征用于在解码器中重构图像。本发明专利技术提升了半监督的精度。此外，通过与其他的方法的训练收敛性对比实验，证明本发明专利技术提出的方法的有效性，可以在更少的迭代次数就收敛到更好的效果。在更少的迭代次数就收敛到更好的效果。在更少的迭代次数就收敛到更好的效果。

【技术实现步骤摘要】
一种基于特征解耦学习的半监督行人重识别方法


[0001]本专利技术属于计算机视觉、机器学习等
，更为具体地讲，涉及一种基于特征解耦学习的半监督行人重识别方法。

技术介绍

[0002]行人重识别问题是计算机视觉领域一个重要的研究问题。行人重识别技术结合了模式识别、机器学习、计算机视觉、图像处理以及计算机应用等多个学科，构成了一种在连续视频帧中获取目标位置的手段，为后续的高层识别应用比如行人行为分析奠定了基础。
[0003]目前，行人重识别技术广泛应用于智能监控、智能交通、行为分析、人机交互、智能驾驶系统等领域中，有着广泛的应用前景及巨大的潜在经济价值。行人重识别技术还被广泛应用在刑侦、人流分析、人流预测等多个领域，并且随着智慧城市建设的推进，行人重识别技术会解决更多贴近我们生活的实际问题。所以，对行人重识别问题的研究并对其在实际环境下性能改进具有巨大的现实意义和长远的价值。
[0004]在行人重识别
，学者已经提出了很多方法。这些方法主要重点关注了三个部分：手工描述符设计、度量学习和深度行人重识别模型。手工描述符目的是对不同视角、姿势和光照度等提取鲁棒性的特征。度量学习的目的是学习一个特征投影空间，其中同一行人的相似度会大于不同人。随着深度卷积神经网络(CNN)成功应用，深度行人重识别模型能够在一个端到端的网络框架中直接学习强大和有辨别力的特征，这种方式也得到了越来越多的关注。
[0005]根据是否使用行人身份标注，深度行人重识别模型大致可以分为有监督学习和无监督学习两种。前者借助标注信息，采用监督损失训练模型，如分类损失和三联损失。后者用跨数据集的域适应性学习、轨迹信息或基于聚类的伪标签学习来解决无监督的行人重识别。虽然以上两种行人重识别方法都取得了很大进展，但它们仍然存在固有的弱点。有监督的行人重识别方法需要大量的跨摄像机行人身份标注数据，以避免对训练数据集的过拟合。然而获取这样大量的行人数据非常耗时和耗力。在无监督的行人重识别方法中，域适应性学习也需要源标签数据。基于轨迹信息的方法依赖于跟踪结果的精确度，而基于伪标签的方法则是对初始参数敏感。此外，现有的无监督的行人重识别方法在准确率上与有监督的仍有很大差距。
[0006]所以，同时利用有标签数据和无标签数据的半监督方法可以有效避免全监督和无监督方法的缺点。
[0007]早期的半监督行人重识别方法有：Figueira等人提出了一种结合多种半监督特征学习的方法框架，同时处理基于外观和基于度量距离的行人重识别问题。Liu等人提出了一种半监督耦合字典学习方法，该方法在训练阶段联合学习两个耦合词典，并同时使用了有标签和无标签的数据。
[0008]然而，这些非深度学习方法只能在小规模的数据集上取得良好的效果。近年来，随着深度卷积神经网络的发展，一些基于深度学习的半监督行人重识别方法已被提出。
[0009]第一个半监督行人重识别方法由Ding等人提出，他们采用生成式对抗网络来生成额外的人工样本数据作为未标记数据。Huang等人引入了多种伪正则化标签并保证他们的分布和真实数据类似。Liu等人设计了一种简单而有效的学习机制，他们提出的Transductive Centroid Projection(TCP)模块替代最后一个全连接层便可以达到不错的效果。Fan等人提出一个简单并且渐进的无监督深度学习框架，其目的在于是使用k-means聚类方法来估计未标记的训练样本的标签。并将其扩展到半监督的行人重识别方法。Xin等人提出了一种半监督的方法，该方法通过结合多视图聚类和深度度量学习来反复更新未标记的训练样本的伪标签。
[0010]近年来，基于特征解耦学习(DFL)的行人重识别技术也获得了越来越多的关注。特征解耦学习通过将数据的分离为不相关但是有具体含义的隐变量，这有助于之后对于隐变量的更进一步的处理。
[0011]目前基于特征解耦学习的行人重识别方法通常采用生成对抗网络或自编码器结构，将行人图像中分离出不同的属性(即外观或姿势等)。其中，姿势是考虑最多的属性。Ma等人采用复杂的多分支模型来将行人分解为前景、背景和姿势特征，通过组合从而生成特定的样本图像，但缺点是无法端到端训练。Qian等人设计网络生成了每个人的标准化姿势图像，但只有8个预定义姿势。Ge等人引导网络学习姿势不变的特征，但利用了人体关键点来描述姿势特征，这加大了计算量并且耗时。Li等人在前期的工作基础上不仅提取了姿势的关键点特征，还利用额外的人体的关键特征。
[0012]因此，目前基于特征解耦学习的行人重识别工作总结如下：1)、使用其他标注，例如人类姿态关键点。这些方法利用人体姿势信息特征引导网络学习行人的身份特征。2)、需要不同姿势的同一行人样本来学习身份不变特征。但是，这两种方法都有其缺点。首先，需要引入其他标注，这会增加网络的复杂性。由于很难找到满足第二种条件的行人样本，所以只能挑选具有不同姿势的样本，或者使用对抗生成网络生成这不同姿态的样本。然而即使找到这些样本，由不同视角引起的不同姿势图像也会带来属性上的混乱，从而导致特征混淆。例如，由于摄像机视野的变化而导致书包短时间的隐藏，或者由于人转身而导致的长发在短时间的隐藏。

技术实现思路

[0013]本专利技术的目的在于克服现有技术的不足，提出一种基于特征解耦学习的半监督行人重识别方法，以提升半监督识别的精度，同时，利用更少的有标注数据，提升模型的泛化性，在更少的迭代次数下就收敛到更好。
[0014]为实现上述专利技术目的，本专利技术基于特征解耦学习的半监督行人重识别方法，其特征在于，包括以下步骤：
[0015](1)、构建一个半监督的行人重识别模型
[0016]基于一个身份编码器E
id
、一个结构编码器E
struct
以及一个解码器D构建一个特征解耦网络，并作为半监督的行人重识别模型；
[0017](2)、训练半监督的行人重识别模型
[0018]2.1)、计算监督训练损失L
S
：
[0019]2.1.1)、将有标签Y的行人图像I
O
输入到监督的行人重识别模型中，一方面直接分
别通过身份编码器E
id
、结构编码器E
struct
进行编码，得到身份特征结构特征另一方面将行人图像I
O
水平翻转，生成水平翻转图像I
T
，然后，水平翻转图像I
T
，分别通过身份编码器E
id
、结构编码器E
struct
进行编码，得到身份特征结构特征
[0020]2.1.2)、身份特征通过GAP&FC操作得到身份特征向量身份特征通过另一GAP&FC操作得到身份特征向量(GAP，Global Average Pooling，即全局平均池化，FC，Fully connecting，即全连接)；将身份特征向量进行分类操作，得到属于标签Y的预测概率，进而根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征解耦学习的半监督行人重识别方法，其特征在于，包括以下步骤：(1)、构建一个半监督的行人重识别模型基于一个身份编码器E
id
、一个结构编码器E
struct
以及一个解码器D构建一个特征解耦网络，并作为半监督的行人重识别模型；(2)、训练半监督的行人重识别模型2.1)、计算监督训练损失L
S
：2.1.1)、将有标签Y的行人图像I
O
输入到半监督的行人重识别模型中，一方面直接分别通过身份编码器E
id
、结构编码器E
struct
进行编码，得到身份特征结构特征另一方面将行人图像I
O
水平翻转，生成水平翻转图像I
T
，然后，水平翻转图像I
T
，分别通过身份编码器E
id
、结构编码器E
struct
进行编码，得到身份特征结构特征2.1.2)、身份特征通过GAP&FC操作得到身份特征向量身份特征通过另一GAP&FC操作得到身份特征向量(GAP，Global Average Pooling，即全局平均池化，FC，Fully connecting，即全连接)；将身份特征向量进行分类操作，得到属于标签Y的预测概率，进而根据预测概率计算出标签一致性损失将身份特征向量进行另一分类操作，得到属于标签Y的预测概率，进而根据预测概率计算出标签一致性损失2.1.3)、将身份特征结构特征级联，然后通过解码器D解码，得到重构图像将身份特征结构特征级联，然后通过解码器D解码，得到重构图像将身份特征结构特征级联，然后通过解码器D解码，得到重构图像将身份特征结构特征级联，然后通过解码器D解码，得到重构图像计算自身图像重构损失计算自身图像重构损失其中：|| ||2表示L2范数；计算交换图像重构损失计算交换图像重构损失其中：这样得到图像重构损失L
rec
：2.1.4)、计算身份不变性约束损失L
inv
以及结构等变性约束损失L
equ
：
其中，D
KL
(*||*)是表示计算两个特征的Kullback-Leibler散度距离，T(*)表示对特征进行水平翻转变换这样得到解耦特征的一致性损失L
ct
：L
ct
＝L
inv
+L
equ
2.1.5)、根据步骤2.1.2)-2.1.4)，得到监督训练损失L
S
：其中，权重系数α、权重系数β可以根据经验进行设定；2.2)、计算无监督训练损失L
U
：2.2.1)、将无标签的行人图像I
′
O
输入到半监督的行人重识别模型中，一方面直接分别通过身份编码器E
id
、结构编码器E
struct
进行编码，得到身份特征结构特征另一方面将行人图像I
′
O
水平翻转，生成水平翻转图像I
′
T
，然后，水平翻转图像I
′
T
...

【专利技术属性】
技术研发人员：周雪，郝戈寒，陈光箭，邹见效，徐红兵，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：