一种基于浅层纹理提取的跨域重识别方法及相关设备技术

本发明专利技术公开了一种基于浅层纹理提取的跨域重识别方法及相关设备，在循环生成对抗网络的基础上增加一个重识别模型，重识别模型提取生成图像以及目标域图像的浅层特征图，利用纹理损失进行监督，使得生成器生成的图像在浅层纹理级别更趋近于目标域图像；重识别模型在度量分支上提取源域、生成域、目标域上的图像的深层特征编码，利用度量学习损失函数对生成图像的身份信息进行保留，同时让重识别模型区分生成图像与目标域图像的不同，通过该方法可以生成与目标域风格更接近以及更适配重识别任务的图片，在重识别任务中，利用自适应局部特征分割方法和局部信息动态匹配方法改进多粒度特征提取模型，可以在一定程度上缓解姿态失配问题。配问题。配问题。

【技术实现步骤摘要】
一种基于浅层纹理提取的跨域重识别方法及相关设备


[0001]本专利技术涉及机器视觉
，尤其涉及一种基于浅层纹理提取的跨域重识别方法、系统、终端及计算机可读存储介质。

技术介绍

[0002]随着经济与科技的快速发展，我国的城市化进程正在稳步推进，各个场景中的监控摄像机数量不断增加，十分有利于智能监控技术的落地。利用辅助特征表征学习的方式增加额外的注释信息或训练样本来强化神经网络模型学习到的特征已经引起重视。
[0003]近年来，有不少方法被提出，例如，结合预测的语义属性信息，提出了一个深度属性学习框架，增强了半监督学习中特征表示的可推广性和鲁棒性；利用视点信息来增强特征；将每个相机看作不同的域，提出了一种多摄像机一致匹配约束，用以在深度学习框架中获得全局最优表示；尝试将GAN用于重识别，改进了基于生成的行人图像的有监督特征表示学习。然而，以上方法都没有考虑纹理信息。已知不同场景获取的数据集风格各不相同，为了增加样本数量来提高模型的泛化性能，就要将不同数据集的风格进行迁移生成更多训练样本。而风格往往和样本的纹理特征相关，对纹理特征进行约束，可以提高风格迁移效果。而在重识别任务中，如果获取样本的相机视角不理想，会导致目标在图像上的有效感受区域、位置不同，造成部分检测结果中背景区域占比过大。
[0004]因此，现有技术还有待于改进和发展。

技术实现思路

[0005]本专利技术的主要目的在于提供一种基于浅层纹理提取的跨域重识别方法、系统、终端及计算机可读存储介质，旨在解决现有技术中在重识别任务中，如果获取样本的相机视角不理想，会导致目标在图像上的有效感受区域、位置不同，造成部分检测结果中背景区域占比过大的问题。
[0006]为实现上述目的，本专利技术提供一种基于浅层纹理提取的跨域重识别方法，所述基于浅层纹理提取的跨域重识别方法包括如下步骤：
[0007]获取源域数据集和目标域数据集，将所述源域数据集和所述目标域数据集输入到循环生成对抗网络；
[0008]从所述源域数据集和所述目标域数据集分别采样得到源域图片和目标域图片，所述循环生成对抗网络根据所述目标域图片的风格将所述源域图片转化为与所述目标域图片的风格接近的生成图片，并将所述生成图片、所述源域图片和所述目标域图片输入到重识别模型；
[0009]分别提取所述生成图片、所述源域图片与所述目标域图片输入所述重识别模型后得到的浅层特征图以及深层特征图，并进行损失计算；
[0010]根据损失计算梯度，更新所述循环生成对抗网络与所述重识别模型的参数；
[0011]获得更新后的循环生成对抗网络，使用更新后的循环生成对抗网络将所述源域数
据集转换成所述目标域数据集的风格；
[0012]将更新后的循环生成对抗网络生成的图片送入多粒度特征提取模型进行训练，以得到跨域识别性能提高的重识别模型。
[0013]此外，为实现上述目的，本专利技术还提供一种基于浅层纹理提取的跨域重识别系统，其中，所述基于浅层纹理提取的跨域重识别系统包括：
[0014]数据获取模块，用于获取源域数据集和目标域数据集，将所述源域数据集和所述目标域数据集输入到循环生成对抗网络；
[0015]图片生成模块，用于从所述源域数据集和所述目标域数据集分别采样得到源域图片和目标域图片，所述循环生成对抗网络根据所述目标域图片的风格将所述源域图片转化为与所述目标域图片的风格接近的生成图片，并将所述生成图片、所述源域图片和所述目标域图片输入到重识别模型；
[0016]特征提取模块，用于分别提取所述生成图片、所述源域图片与所述目标域图片输入所述重识别模型后得到的浅层特征图以及深层特征图，并进行损失计算；
[0017]参数更新模块，用于根据损失计算梯度，更新所述循环生成对抗网络与所述重识别模型的参数；
[0018]数据转换模块，用于获得更新后的循环生成对抗网络，使用更新后的循环生成对抗网络将所述源域数据集转换成所述目标域数据集的风格；
[0019]模型训练模块，用于将更新后的循环生成对抗网络生成的图片送入多粒度特征提取模型进行训练，以得到跨域识别性能提高的重识别模型。
[0020]此外，为实现上述目的，本专利技术还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于浅层纹理提取的跨域重识别程序，所述基于浅层纹理提取的跨域重识别程序被所述处理器执行时实现如上所述的基于浅层纹理提取的跨域重识别方法的步骤。
[0021]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于浅层纹理提取的跨域重识别程序，所述基于浅层纹理提取的跨域重识别程序被处理器执行时实现如上所述的基于浅层纹理提取的跨域重识别方法的步骤。
[0022]本专利技术在循环生成对抗网络的基础上增加了重识别模型来约束生成图片与目标图片的浅层纹理信息更加接近，这种改进使得生成图片的风格比其他方法更接近目标图片的风格，从而提高重识别任务中模型的泛化能力，同时提出自适应分割局部特征的方式来缓解姿态失配问题。
附图说明
[0023]图1是本专利技术基于浅层纹理提取的跨域重识别方法的较佳实施例的流程图；
[0024]图2是本专利技术基于浅层纹理提取的跨域重识别方法的较佳实施例中重识别模型监督风格迁移模型的训练框架的示意图；
[0025]图3是本专利技术基于浅层纹理提取的跨域重识别方法的较佳实施例中多粒度特征提取网络结构的示意图；
[0026]图4是本专利技术基于浅层纹理提取的跨域重识别方法的较佳实施例中为利用累积分
布实现的自适应局部特征分割的示意图；
[0027]图5是本专利技术基于浅层纹理提取的跨域重识别方法的较佳实施例中为动态匹配局部信息方法的示意图；
[0028]图6是本专利技术基于浅层纹理提取的跨域重识别方法的较佳实施例中多粒度特征提取网络的局部支路特征动态对齐的示意图；
[0029]图7是本专利技术基于浅层纹理提取的跨域重识别系统的较佳实施例的原理示意图；
[0030]图8为本专利技术终端的较佳实施例的运行环境示意图。
具体实施方式
[0031]为使本专利技术的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0032]本专利技术较佳实施例所述的基于浅层纹理提取的跨域重识别方法，旨在生成与目标域风格更接近且能保留原始身份信息的图片，同时在一定程度缓解重识别任务中姿态失配问题。如图1所示，所述基于浅层纹理提取的跨域重识别方法包括以下步骤：
[0033]步骤S10、获取源域数据集和目标域数据集，将所述源域数据集和所述目标域数据集输入到循环生成对抗网络。
[0034]具体地，获取所述源域数据集和所述目标域数据集，从所述源域数据集和所述目标域数据集中随机采样k个样本。
[0035]如图2中风格迁移模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于浅层纹理提取的跨域重识别方法，其特征在于，所述基于浅层纹理提取的跨域重识别方法包括：获取源域数据集和目标域数据集，将所述源域数据集和所述目标域数据集输入到循环生成对抗网络；从所述源域数据集和所述目标域数据集分别采样得到源域图片和目标域图片，所述循环生成对抗网络根据所述目标域图片的风格将所述源域图片转化为与所述目标域图片的风格接近的生成图片，并将所述生成图片、所述源域图片和所述目标域图片输入到重识别模型；分别提取所述生成图片、所述源域图片与所述目标域图片输入所述重识别模型后得到的浅层特征图以及深层特征图，并进行损失计算；根据损失计算梯度，更新所述循环生成对抗网络与所述重识别模型的参数；获得更新后的循环生成对抗网络，使用更新后的循环生成对抗网络将所述源域数据集转换成所述目标域数据集的风格；将更新后的循环生成对抗网络生成的图片送入多粒度特征提取模型进行训练，以得到跨域识别性能提高的重识别模型。2.根据权利要求1所述的基于浅层纹理提取的跨域重识别方法，其特征在于，所述获取源域数据集和目标域数据集，将所述源域数据集和所述目标域数据集输入到循环生成对抗网络，具体包括：获取所述源域数据集和所述目标域数据集，从所述源域数据集和所述目标域数据集中随机采样k个样本；将采集的k个样本输入到所述循环生成对抗网络，生成对抗损失分别为：将采集的k个样本输入到所述循环生成对抗网络，生成对抗损失分别为：其中，Ｇ表示循环生成对抗网络的目标域生成器；F表示源域生成器；D
T
表示目标域判别器；D
S
表示源域判别器；A表示源域图片；B表示目标域图片；L
adv
(G，D
T
)表示循环生成对抗网络的目标域生成器Ｇ的生成对抗损失；L
adv
(F，D
S
)表示循环生成对抗网络的源域生成器F的生成对抗损失；表示服从于目标域图片B的数据分布；D
T
(B)表示目标域判别器D
T
判断目标域图片B是目标域或不是目标域的判别结果；表示服从于源域图片A的数据分布；G(A)表示将源域图片A送入循环生成对抗网络的目标域生成器Ｇ后生成的图片；D
S
(A)表示源域判别器D
S
判断源域图片A是源域或不是源域的判别结果；D
S
(F(B))表示源域判别器D
S
判断将目标域图片B送入循环生成对抗网络的源域生成器F后生成的图片是源域或不是源域的判别结果；循环一致损失表示为：其中，F(Ｇ(A))表示将源域图片A送入循环生成对抗网络的目标域生成器G后生成的图片Ｇ(A)送入循环生成对抗网络的源域生成器F后生成的图片；G(F(B))表示将目标域图B送
入循环生成对抗网络的源域生成器F后生成的图片F(B)送入循环生成对抗网络的目标域生成器Ｇ后生成的图片；域内身份损失表示为：其中，F(A)表示将源域图片A送入循环生成对抗网络的源域生成器F后生成的图片；F(B)表示将目标域图片B送入循环生成对抗网络的源域生成器F后生成的图片；总体损失函数表示为：L
CycleGAN
(G，F，D
S
，D
T
)＝L
adv
(G，D
T
)+L
adv
(F，D
S
)+λ1L
rec
(Ｇ，F)+λ2L
idt
(G，F)；其中，λ1和λ2表示权重。3.根据权利要求2所述的基于浅层纹理提取的跨域重识别方法，其特征在于，所述将所述生成图片、所述源域图片和所述目标域图片输入到重识别模型，具体包括：将源域图片A、生成图片A
′
和目标域图片B输入到重识别模型；源域图片A、生成图片A
′
和目标域图片B经过重识别模型提取的特征分别表示为M(A)、M(A
′
)和M(B)。4.根据权利要求3所述的基于浅层纹理提取的跨域重识别方法，其特征在于，所述分别提取所述生成图片、所述源域图片与所述目标域图片输入所述重识别模型后得到的浅层特征图以及深层特征图，并进行损失计算，具体包括：重识别模型提取生成图片A
′
、源域图片A和目标域图片B的的深层特征编码向量分别为M(A
′
)、M(A)和M(B)；利用Triplet损失，构造深层特征编码的损失为：L
triplet
(A，B)＝max{||M(G(A))
‑
M(A)||2‑
||M(G(A))
‑
M(B)||2+m，0}；其中，M(G(A))表示将源域图片A送入循环生成对抗网络的目标域生成器Ｇ后生成的图片Ｇ(A)经过重识别模型提取的特征；m表示阈值；重识别模型提取生成图片A
′
和目标域图片B的浅层纹理特征分别为M
j
(A
′
)和M
j
(B)，其中M
j
(
·
)表示重识别模型骨干网络所提取的第j个卷积层输出的特征图；计算浅层风格纹理损失表示为：其中，C
j
H
j
W
j
表示特征M
j
(G(A))和M
j
(B)在宽、高、通道三个维度展开后得到的长度；M
j
(G(A))表示将源域图片A送入循环生成对抗网络的目标域生成器Ｇ后生成的图片Ｇ(A)经过重识别模型第j个卷积层提取的特征。5.根据权利要求4所述的基于浅层纹理提取的跨域重识别方法，其特征在于，所述根据损失计算梯度，更新所述循环生成对抗网络与所述重识别模型的参数，具体包括：最终得到的损失表示为：L
Proposed
(G，F，D
S
，D
T
)＝L
adv
(G，D
T
)+L
adv
(F，D
S
)+λ1L
rec
(G，F)+λ2L
idt
(G，F)+λ3L
triplet
(G，F，M)+λ4L
texture
(G，F，M)；其中，λ3和λ4表示权重；L
triplet
(G，F，M)表示L
triplet
(A，B)；L
texture
(G，F，M)表示L
texture
(A，B)；
根据损失对特征求偏导数；根据偏导数分别对梯度方向的负方向进行梯度下降法迭代学习，更新循环生成对抗网络和重识别模型的参数。6.根据权利要求5所述的基于浅层纹理提取的跨域重识别方法，其特征在于，所述获得更新后的循环生成对抗网络，使用更新后的循环生成对抗网络将所述源域数据集转换成所述目标域数据集的风格，具体包括：调用训练好的循环生成对抗网络，将源域数据集输入到训练好的循环生成对抗网络；循环生成对抗网络的生成器将源域数据集转换成具有目标域数据集的风格的生成数据集。7.根据权利要求6所述的基于浅层纹理提取的跨域重识别...

【专利技术属性】
技术研发人员：徐颖，陈晓清，蔡大森，汤俊杰，陈明伟，
申请(专利权)人：深圳大学，
类型：发明
国别省市：