一种基于特定模态特征补偿的跨模态行人重识别方法技术

一种基于特定模态特征补偿的跨模态行人重识别方法，收集可见光行人图像作为可见光域训练图像，收集红外行人图像作为红外域训练图像；利用生成对抗网络将可见光域和红外域的行人图像进行风格转换，生成跨模态的配对行人图像；获取配对行人图像间的融合特征作为行人图像的表示特征用于行人重识别。本发明专利技术结合多模态图像风格转换网络和行人重识别，将一种模态的原始图像特征和其对应生成另一种模态图像特征融合作为行人图像特征；通过计算行人图像特征的欧式距离，根据欧式距离得到不同行人图像匹配的结果。本发明专利技术改善了生成图像的质量和配对图像融合特征的判别力，极大地提高了跨模态行人重识别任务的精度。态行人重识别任务的精度。态行人重识别任务的精度。

【技术实现步骤摘要】
一种基于特定模态特征补偿的跨模态行人重识别方法


[0001]本专利技术属于图像处理、模式识别
，特别涉及一种基于特定模态特征补偿的跨模态行人重识别方法。

技术介绍

[0002]行人重识别技术能够在不同相机的视野下找到相同身份的目标行人。随着智慧城市、安全城市的建立，视频监控广泛普及，行人重识别技术广泛应用于智能视频监控、安保、刑侦等领域，是当前计算机视觉领域的一项热门的研究课题。现有的行人重识别技术主要集中在可见光下的行人重识别，但可见光相机在黑暗情况下无法捕获有效的行人信息，因此许多新型摄像头在夜间会自动转换为红外摄像头从而捕获有效的行人信息。在这种情况下，跨模态行人重识别技术被提出，旨在通过匹配不同相机下的可见光图像和红外图像寻找同一身份的行人，实现跨模态行人重识别。
[0003]跨模态行人重识别不仅受到光照变化、行人姿态变化、拍摄视角变化和外界遮挡等因素的影响，导致同一行人在不同镜头下存在较大的外观差异。此外，由于成像原理的不同，可见光图像和红外图像存在严重的模态差异。因此，消除模态差异是跨模态行人重识别面临的重要挑战。
[0004]现有消除模态差异的方法主要是基于共享模态特征学习的方法。即使用共享网络提取可见光图像和红外图像的模态无关特征来进行跨模态行人匹配。然而，特定模态信息对于行人重识别有重要的价值，仅仅使用模态无关特征却忽略了特定模态信息，这会限制行人特征的表征能力从而阻碍跨模态行人重识别的性能。

技术实现思路

[0005]为了克服上述现有技术的缺点，本专利技术的目的在于提供一种基于特定模态特征补偿的跨模态行人重识别方法，以解决跨模态行人重识别精度不高的问题。
[0006]为了实现上述目的，本专利技术采用的技术方案是：
[0007]一种基于特定模态特征补偿的跨模态行人重识别方法，包括：
[0008]收集可见光行人图像作为可见光域训练图像，收集红外行人图像作为红外域训练图像；
[0009]利用生成对抗网络将可见光域和红外域的行人图像进行风格转换，生成跨模态的配对行人图像；
[0010]获取配对行人图像间的融合特征作为行人图像的表示特征用于行人重识别。
[0011]在一个实施例中，所述风格转换通过基于风格转换的生成网络和判别网络实现，包括：
[0012]可见光域的行人图像输入生成网络，输出其对应的红外域的行人图像；
[0013]红外域的行人图像输入生成网络，输出其对应的可见光域的行人图像。
[0014]与现有技术相比，本专利技术的有益效果是：
[0015]本分明提供了一种基于特定模态特征补偿的跨模态行人重识别方法，采用多模态图像风格转换的生成对抗网络实现可见光图像和红外图像的风格转换，从而生成高质量的图像；构建基于注意力机制的配对图像特征融合方法可以使得网络关注到不同模态配对图像间的互补信息和冗余信息用于改善行人重识别的性能；构建联合约束策略可以获得更加鲁棒且具有判别力的融合特征，进一步提高跨模态行人重识别的精度。
附图说明
[0016]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0017]图1为本专利技术公开的一种基于特定模态特征补偿的跨模态行人重识别方法的流程图；
[0018]图2为本专利技术提出的一种基于特定模态特征补偿的跨模态行人重识别方法的算法网络框图，其中，上半部分虚线框内为风格转换子网络，下半部分虚线框内为行人重识别子网络；
[0019]图3为本专利技术提出的配对图像特征融合框架示意图；
[0020]图4为本专利技术提出的联合约束策略框架示意图。
具体实施方式
[0021]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0022]本专利技术的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
[0023]下面结合附图和实施例，对本专利技术的技术方案做进一步的详细描述。
[0024]本专利技术为一种基于特定模态特征补偿的跨模态行人重识别方法，利用生成对抗网络将两种域下的行人图像进行风格转换，生成跨模态的配对行人图像，并且利用配对图像间的融合特征提升跨模态行人重识别的性能；并基于注意力机制的配对图像融合方法和联合约束策略，增强融合特征的判别力，进一步提升跨模态行人重识别性能。
[0025]如图1所示，本专利技术具体包括如下步骤：
[0026](1)对跨模态行人重识别数据集进行收集和预处理，得到训练样本，其中，可见光行人图像作为可见光域训练图像，红外行人图像作为红外域训练图像；
[0027]本实施例中，对可见光和红外图片做相同的预处理操作：将输入图像每边添加宽度为l，值为0的像素点，使用随机裁剪的方式得到相同的图片尺寸，并且随机水平翻转图片。在本实施例中，l的取值为10，得到图片尺寸为288*144。
[0028]为了消除颜色信息的影响，可以对可见光行人图像做灰度化处理。
[0029](2)构建基于风格转换的生成网络和判别网络，该模型利用生成对抗思想，可以实
现可见光域的行人图像和红外域的行人图像之间的风格转换，以生成跨模态的配对行人图像。
[0030]本专利技术的风格转换是指：
[0031]可见光域的行人图像输入生成网络，输出其对应的红外域的行人图像；
[0032]红外域的行人图像输入生成网络，输出其对应的可见光域的行人图像。
[0033]也即，原始图像为可见光行人图像时，红外行人图像为生成图像；原始图像为红外行人图像时，可见光行人图像为生成图像。
[0034]本实施例中，如图2的上半部分所示，生成网络和判别网络包括一个可见光到红外的风格转换分支B
G2I
和一个红外到可见光的风格转换分支B
I2G
，每一个分支包括一个生成器和判别器，满足：
[0035][0036][0037][0038]其中，X
G
为可见光行人图像，X
I
为红外行人图像；
[0039]表示红外行人图像与生成红外行人图像之间的对抗损失函数；
[0040]表示可见光行人图像与生成可见光行人图像之间的对抗损失函数；
[0041]D
I*
(X
I
)表示判别器对真实红外行人图像的判别结果；
[0042]D
G*
(X
G
)表示判别器对真实可见光行人图像的判别结果；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
其中，L
recons
是定义可见光行人图像或红外行人图像与生成的可见光行人图像G
I2G
(X
G
)或红外行人图像G
G2I
(X
I
)之间的重构损失函数；L
cyc
是定义可见光行人图像或红外行人图像与生成的可见光行人图像G
I2G
[G
G2I
(X
G
)]或G
G2I
[G
I2G
(X
I
)]之间的循环一致损失函数；和分别表示可见光行人图像和红外行人图像的身份损失函数，L
ID
表示和的身份损失之和；和分别使用交叉熵损失函数作为可见光行人图像和红外行人图像的身份损失函数，其中，和分别是可见光行人图像和红外行人图像的预测得分，y是真实的行人身份标签；||
·
||1表示L1范数；基于风格转换的生成网络和判别网络的目标函数L1为：L1＝L
ID
+λ1L
recons
+λ2L
cyc
+λ3L
gan
其中，λ1、λ2和λ3为加权系数。6.根据权利要求5所述基于特定模态特征补偿的跨模态行人重识别方法，其特征在于，生成的跨模态的配对行人图像为和其中，表示可见光行人图像和其对应生成的红外行人图像，表示红外行人图像和其对应生成的可见光行人图像。7.根据权利要求5所述基于特定模态特征补偿的跨模态行人重识别方法，其特征在于，所述融合特征为原始图像和生成图像的融合特征，通过基于注意力机制的配对图像特征融合方法获取，方法如下：(1)使用四个独立ResNet50提取到四种不同类型的特征F
V
、F
I
和分别表示可见光行人图像特征、生成红外行人图像特征、红外行人图像特征和生成可见光行人图像特征；所述原始图像为可见光行人图像或红外行人图像，所述生成图像为红外行人图像或可见光行人图像；(2)当原始图像为可见光行人图像时，F
V
和首先经过两个通道注意力模块；EF
V
＝CAM(F
V
)＝w
SV
*F
V
，w
SV
＝σ(GAP(F
V
)+GMP(F
V
))(3)EF
V
和分别经过两个卷积块后接着经过两个通道注意力模块；CF
V
＝ConvB(EF
V
,θ1)，F
SV
＝CAM(CF
V
)，(4)对F
SV
和求平均操作得到最终的行人图像融合特征；其中，EF
V
和表示增强后的可见光行人图像特征和生成红外行人图像特征；CAM(
·
)表示通道注意力模块，w
(
·
)
表示通道权重图，GAP(
·
)和GMP(
·
)分别表示全局平均池化和全局最大池化；CF
V

【专利技术属性】
技术研发人员：张强，刘迦南，黄年昌，刘健，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：