一种基于特征解缠表示的目标重识别方法及系统技术方案

本发明专利技术公开了一种基于特征解缠表示的目标重识别方法及系统，该方法包括：步骤1：利用多粒度特征提取网络模块，提取待识别图像的多粒度特征，并分类成识别目标无关特征与识别目标相关特征；步骤2：将识别目标无关特征与识别目标相关特征输入到生成对抗网络模块中的生成器中进行语义特征重构，从单一特征表示中进行解纠缠开，生成新的图像；步骤3：将生成的新的图像输入到生成对抗网络模块中的判别器中，进行图像的真假与类别的辨识，输出最终识别结果；本发明专利技术提出一个新的基于特征解缠的特征学习框架，无需额外提供样本标注信息，实现了识别目标的特征表示对于视角变化的鲁棒性，增强了网络泛化性，同时提高了目标重识别的精度。同时提高了目标重识别的精度。同时提高了目标重识别的精度。

【技术实现步骤摘要】
一种基于特征解缠表示的目标重识别方法及系统


[0001]本专利技术属于目标重识别领域，特别涉及一种基于特征解缠表示的目标重识别方法及系统。

技术介绍

[0002]随着深度学习的进一步发展，目标重识别任务在过去的几年来不断发展创新，达到了近乎满意的结果。在如今的目标重识别方法中，大多都是通过在卷积神经网络中添加新的层结构以实现提取目标图片特征的目的亦或是计算局部区域的注意力图以达到提高模型表征能力的目的。但现如今在卷积网络中添加新结构的方法对图像遮挡等类
‑
内差异现象具有一定的局限性，而另一种注意力强化或者水平切分的方法，在提升网络对于微小特征提取能力方面有所优势且能对于遮挡现象表现出很强的鲁棒性。然而，该种方式过分注重于辨识力视觉信息的挖掘反而容易出现类
‑
内匹配矛盾的现象，这是因为局部细节往往在特定的视角下可见，特别是对于复杂场景下本身视角具有极大限制从而存在巨大视角差异，使得模型很难直接学习到纯净的身份
‑
相关信息。
[0003]近年来，不同于判别式模型，通过生成式对抗训练的GAN涌现了新的设计思路，通过生成器与判别器之间的竞争博弈实现抵抗特定类
‑
内变化的鲁棒性特征表示。相对于判别式学习阶段，生成器的算法是独立的，随着GAN模型的不断演变，现如今已能达到在去除干扰目标重识别任务信息的情况下从输入目标图像中直接提取身份相关特征或姿势相关特征，从而不需要额外的目标图片信息标注。
[0004]现有方法虽有不错进展但仍有局限，他们大多依赖样本数量。然而在现实场景中难以获得大量高质量样本图像，因此上述方法难以在复杂场景中有效对于目标进行重识别任务。

技术实现思路

[0005]针对上述问题，本专利技术技术方案提出一种基于特征解缠表示的目标重识别方法及系统，采用提出的GPS
‑
GAN框架无需添加任何辅助约束信号，在共享的骨干网络中级联两组分支，用于分解出识别目标相关和识别目标无关特征，使得整个目标重识别的网络更加简练，并能直接解缠所有可变因素，移除识别目标无关特征，可有效地解决现有技术对目标重识别任务的缺陷。
[0006]一方面，一种基于特征解缠表示的目标重识别方法，包括：
[0007]步骤1：利用多粒度特征提取网络模块，提取待识别图像的多粒度特征，并分类成识别目标无关特征与识别目标相关特征；
[0008]步骤2：将识别目标无关特征与识别目标相关特征输入到生成对抗网络模块中的生成器中进行语义特征重构，从单一特征表示中进行解纠缠开，生成新的图像；
[0009]步骤3：将生成的新的图像输入到生成对抗网络模块中的判别器中，进行图像的真假与类别的辨识，输出最终识别结果；
[0010]以依次级联的多粒度特征提取网络模块、生成对抗网络模块构建基于特征解缠的目标重识别网络，在基于特征解缠的目标重识别网络训练过程中，将步骤1
‑
步骤3各步骤执行时的损失进行累加，以累加后的损失最小为训练目标。
[0011]本专利技术技术方案提出GPS
‑
GAN的框架，在无需额外标注信息的前提下结合对抗生成式训练，通过目标特征解缠，移除识别目标无关特征，同时挖掘和强化目标相关特征，从而对目标做出准确判断。
[0012]进一步的，所述从单一特征表示中进行解纠缠开是指：
[0013]通过生成对抗网络模块利用同目标变换的方式，基于全局
‑
级和局部
‑
级的特征交换策略来进行特征解缠合成新图像；
[0014]全局
‑
级的特征交换策略是通过交换同一目标的不同图像x
a
、x
p
目标相关特征编码，使得生成对抗网络模块所生成新图像仍具有原目标所匹配的视觉特征，生成与所述同一目标的不同图像x
a
、x
p
的合成图像；
[0015]由于x
a
，x
p
属于相同的目标，但其因不同视角姿态、光照、背景而呈现出不同成像，因此全局
‑
级的特征交换策略将强迫识别目标相关分支R
θ
提取出对类
‑
内变化具有鲁棒性的特征，更多的挖掘和强化图像x
a
和图像x
p
之间的共同特征，同时强制识别目标无关分支U
θ
来获取单一图片中独有的可变因素。
[0016]局部
‑
级的特征交换策略是通过将完整的特征图划分为多个局部块，在局部水平上进行特征解纠缠和目标变换，通过从同一目标的两个图像中任意一个图像的目标特征相关特征嵌入函数中随机选取目标局部特征，并在相同的位置与另一个图像的中目标特征相关特征嵌入函数对应位置的局部特征进行交换。
[0017]进一步的，全局
‑
级特征交换的表达式为：
[0018]G(f
R
(a)
⊕
f
U
(p))
[0019]G(f
R
(p)
⊕
f
U
(a))
[0020]其中，f
R
(a)、f
U
(a)分别表示从输入的同一目标的图像x
a
中所提取的识别目标相关特征和识别目标无关特征，f
R
(p)、f
U
(p)分别表示从输入的同一目标的图像x
p
中所提取的识别目标相关特征和识别目标无关特征，
⊕
表示两种特征的拼接，G()表示特征交换函数。
[0021]生成对抗网络模块需要从G(f
R
(a)
⊕
f
U
(p))中生成图像x
p
，同时从G(f
R
(p)
⊕
f
U
(a))中生成与图像x
p
同一目标的图像x
a
。
[0022]进一步的，全局
‑
级的特征交换损失定义为：
[0023][0024]局部
‑
级的特征交换损失定义为：
[0025][0026]其中，‖ ‖1表示L1损失绝对值，E表示生成对抗网络模块，x
i
表示同一目标的图像i，f
R
(i)、f
U
(i)分别表示从输入的同一目标的图像x
i
中所提取的识别目标相关特征和识别目标无关特征，i和j的取值为a或p，S表示一个局部区域变换算子。
[0027]进一步的，识别目标无关特征的损失如下：
[0028][0029]其中，p为真实概率分布，q为近似概率分布，p为真实概率分布，q为近似概率分布，p为真实概率分布，q为近似概率分布，表示与目标标签c和特征f
R
相关联的分类器参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征解缠表示的目标重识别方法，其特征在于，包括：步骤1：利用多粒度特征提取网络模块，提取待识别图像的多粒度特征，并分类成识别目标无关特征与识别目标相关特征；步骤2：将识别目标无关特征与识别目标相关特征输入到生成对抗网络模块中的生成器中进行语义特征重构，从单一特征表示中进行解纠缠开，生成新的图像；步骤3：将生成的新的图像输入到生成对抗网络模块中的判别器中，进行图像的真假与类别的辨识，输出最终识别结果；以依次级联的多粒度特征提取网络模块、生成对抗网络模块构建基于特征解缠的目标重识别网络，在基于特征解缠的目标重识别网络训练过程中，将步骤1
‑
步骤3各步骤执行时的损失进行累加，以累加后的损失最小为训练目标。2.根据权利要求1所述的方法，其特征在于，所述从单一特征表示中进行解纠缠开是指：通过生成对抗网络模块利用同目标变换的方式，基于全局
‑
级和局部
‑
级的特征交换策略来进行特征解缠合成新图像；全局
‑
级的特征交换策略是通过交换同一目标的不同图像x
a
、x
p
目标相关特征编码，使得生成对抗网络模块所生成新图像仍具有原目标所匹配的视觉特征，生成与所述同一目标的不同图像x
a
、x
p
的合成图像；局部
‑
级的特征交换策略是通过将完整的特征图划分为多个局部块，在局部水平上进行特征解纠缠和目标变换，通过从同一目标的两个图像中任意一个图像的目标特征相关特征嵌入函数中随机选取目标局部特征，并在相同的位置与另一个图像的中目标特征相关特征嵌入函数对应位置的局部特征进行交换。3.根据权利要求2所述的方法，其特征在于，全局
‑
级特征交换的表达式为：级特征交换的表达式为：其中，f
R
(a)、f
U
(a)分别表示从输入的同一目标的图像x
a
中所提取的识别目标相关特征和识别目标无关特征，f
R
(p)、f
U
(p)分别表示从输入的同一目标的图像x
p
中所提取的识别目标相关特征和识别目标无关特征，表示两种特征的拼接，G()表示特征交换函数。4.根据权利要求3所述的方法，其特征在于，全局
‑
级的特征交换损失定义为：局部
‑
级的特征交换损失定义为：其中，‖‖1表示L1损失绝对值，E表示生成对抗网络模块，x
i
表示同一目标的图像i，f
R
(i)、f
U
(i)分别表示从输入的同一目标的图像x
i
中所提取的识别目标相关特征和识别目标
无关特征，i的取值为a或p，S表示一个局部区域变换算子。5.根据权利要求4所述的方法，其特征在于，识别目标无关特征的损失如下：其中，p为真实概率分布，q为近似概率分布，p为真实概率分布，q为近似概率分布，p为真实概率分布，q为近似概率分布，表示与目标标签c和特征f
R
相关联的分类器参数；是目标标签c的索引，当多粒度特征提取网络模块中的三分支预测的目标与目标标签相同时取值为1，否则为0；表示提取目标相关特征的嵌入函数，得到采用第R种编码方式编码输入图像的k个识别目标相关特征，k＝1,2
…
K，K表示同一目标的输入图像总数；f
R
表示采用第R种编码方式编码的多粒度特征网络提取的全局特征以及不同规模的局部特征，R＝1,2
…
8；D
KL
表示限制目标无关的特征逼近正态分布N(0,1)下的KL散度。6.根据权利要求1所述的方法，其特征在于，所述多粒度特征提取网络采用MGN多粒度学习结构，并由多层共享卷积层结构堆叠构成；所述多粒度特征提取网络中的backbone为加载ImageNet预训练权重的ResNet50；...

【专利技术属性】
技术研发人员：周应新，张辉，梁志佳，钱正富，唐能，曾维成，张华，叶明果，郑春霞，张天明，
申请(专利权)人：湖南大学，
类型：发明
国别省市：