一种适用于跨模态行人再辨识的随机置色数据增强方法技术

本发明专利技术涉及一种适用于跨模态行人再辨识的随机置色数据增强方法，先对可见光图像随机裁剪局部区域，对所裁剪的局部区域进行随机灰度化变换，以及对红外光图像随机裁剪局部区域，对所裁剪的局部区域进行随机彩色化变换；再将变换后的局部区域替换为原先被裁剪区域，获取随机置色增强可见光和红外光图像用于跨模态行人再辨识步骤。本发明专利技术在图像层面上，以轻量计算代价缓解可见光和红外光图像风格差异，从而提升跨模态行人再辨识模型对模态变化的适应能力，进而提升跨模态行人再辨识的准确性。性。性。

【技术实现步骤摘要】
一种适用于跨模态行人再辨识的随机置色数据增强方法


[0001]本专利技术涉及智能视频监控领域中的图像处理和机器视觉技术，特别涉及一种适用于跨模态行人再辨识的随机置色数据增强方法。

技术介绍

[0002]全天候视频监控场景中，监控摄像头在光照正常条件下工作在可见光模态，而在光照不充足条件下工作在红外光模态，因此不可避免地出现跨模态行人再辨识问题。由于可见光和红外光不同的成像波段特性，造成两种模态下行人图像的风格差异极大。现虽有基于对抗生成学习的图像风格转化方法，但是由于对抗生成学习涉及多个复杂的子网络，计算量较大，并且伴随着模型坍塌的风险，训练难度较大，制约了跨模态行人再辨识算法的准确性，继而导致行人再辨识在智能视频监控系统中的实战能力有限。

技术实现思路

[0003]本专利技术的目的在于提出一种随机置色数据增强方法，用于提升跨模态行人再辨识算法性能，继而提高行人再辨识的实战能力。本专利技术先对可见光图像随机裁剪局部区域,进行随机灰度化变换，并将红外光图像随机裁剪局部区域进行随机彩色化变换；再用变换后的局部区域替换原先被裁剪区域的内容，从而在鉴别性特征学习之初，在图像层面上，以轻量计算代价缓解可见光和红外光图像风格差异，以利于后续的鉴别性特征学习。本专利技术的具体内容具体如下：
[0004]步骤1、对可见光图像随机裁剪局部区域进行随机灰度化增强
[0005]对可见光图像X随机裁剪得到局部区域x，并对局部区域x进行随机灰度化获得x
gray
，将x
gray
>进行通道复制扩充后替换原始可见光图像中被裁剪区域，获得随机置色后增强的可见光图像X
E
。
[0006]所述随机裁剪得到的局部区域x，计算如公式(1)所示：
[0007]x＝RC(X,φ), φ＝[φ
y
,φ
x
,φ
h
,φ
w
], (1)
[0008]其中，RC表示随机裁剪操作，φ用于控制RC裁剪区域范围。φ
y
表示裁剪区域左上角纵坐标，φ
x
表示裁剪区域左上角横坐标，φ
h
表示裁剪区域长度，φ
w
表示裁剪区域宽度。
[0009]所述随机灰度化后的局部区域x
gray
，计算如公式(2)所示：
[0010][0011]其中，Gray为随机灰度化操作，x
r
,x
g
,x
b
分别表示x的R，G和B通道取值，α1,α2,α3为
随机数值，α1,α2,α3∈[
‑
τ,τ]，
[0012]所述随机置色后增强的可见光图像X
E
，计算如公式(3)所示:
[0013][0014]其中，i,j表示像素的纵坐标和横坐标。
[0015]步骤2、对红外光图像随机裁剪局部区域进行随机彩色化增强
[0016]对通道复制扩充后的红外光图像Y随机裁剪得到局部区域y，对该局部区域y进行随机彩色化获得y
color
，将y
color
替换原始红外光图像中被裁剪区域，获得随机置色后增强的红外光图像Y
E
；
[0017]所述随机裁剪得到的局部区域y，计算如公式(4)所示：
[0018][0019]其中，RC表示随机裁剪操作，用于控制RC裁剪区域范围。表示裁剪区域左上角纵坐标，表示裁剪区域左上角横坐标，表示裁剪区域长度，表示裁剪区域宽度。
[0020]所述随机彩色化后的局部区域y
color
，计算如公式(5)所示：
[0021][0022]其中，Color为随机彩色化操作，y
r
,y
g
,y
b
分别表示y三个通道上的取值，β1,β2,β3为随机数值，
[0023]所述随机置色后增强的红外光图像Y
E
，计算如公式(6)所示：
[0024][0025]其中，i,j表示像素的纵坐标和横坐标。
[0026]步骤3、获取随机置色后的可见光和红外光图像用于跨模态行人再辨识，即利用增强后的图像驱动深度网络学习图像特征，基于特征计算图像之间的距离，依据距离对注册集图像进行升序排序，选择排名靠前的注册集图像作为再辨识结果。
[0027]本专利技术具有如下技术优点：
[0028]本专利技术不是简单地对可见光图像的三个通道求均值，而是对可见光图像和红外光图像进行随机置色，以实现数据增强，从而更好地进行跨模态行人再辨识模型的训练。本专利技术对可见光图像进行随机裁剪、随机灰度化，充分利用了三通道的值，而不局限于单通道；同时对红外光图像进行通道复制扩充并随机裁剪、随机彩色化，能够缓解两种模态图像风
格差异，实现了可见光图像和红外光图像两种模态的数据增强。本专利技术的数据增强，并不是对可见光图像和红外光图像进行融合，而是充分考虑图像局部特性，通过对可见光图像随机裁剪、随机灰度化，使其具有部分灰度特性；对红外光图像进行通道复制扩充后随机裁剪、随机彩色化，使其具有部分彩色特性，以利于后续行人再辨识的鉴别性特征学习。
附图说明
[0029]图1为本专利技术计算过程示意图。
具体实施方式
[0030]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施例对本专利技术进行详细描述。需要说明的是，在不冲突的情况下，本专利技术的实施例及实施例中的特征可以相互组合。
[0031]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0032]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。
[0033]本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0034]实施例一
[0035]如图1所示，本专利技术涉及一种适用于跨模态行人再辨识的随机置色数据增强方法，具体包括如下步骤：
[0036]步骤1、对可见光图像随机裁剪局部区域进行随机灰度化增强，具体如下：
[0037]步骤1.1、对可见光图像X随机裁剪得到局部区域x，计算如公式(1)所示：
[0038]x＝RC(X,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于跨模态行人再辨识的随机置色数据增强方法，其特征在于包括如下步骤：步骤1、对可见光图像随机裁剪局部区域进行随机灰度化增强对可见光图像X随机裁剪得到局部区域x，并对局部区域x进行随机灰度化获得x
gray
，将x
gray
进行通道复制扩充后替换原始可见光图像中被裁剪区域，获得随机置色后增强的可见光图像X
E
；步骤2、对红外光图像随机裁剪局部区域进行随机彩色化增强对通道复制扩充后的红外光图像Y随机裁剪得到局部区域y，对该局部区域y进行随机彩色化获得y
color
，将y
color
替换原始红外光图像中被裁剪区域，获得随机置色后增强的红外光图像Y
E
；步骤3、获取随机置色后的可见光和红外光图像用于跨模态行人再辨识，即用深度网络从图像中提取特征，基于特征计算图像的距离以排序注册集图像作为再辨识结果。2.根据权利要求1所述的一种适用于跨模态行人再辨识的随机置色数据增强方法，其特征在于，所述随机裁剪得到的局部区域x，计算如公式(1)所示：x＝RC(X,φ), φ＝[φ
y
,φ
x
,φ
h
,φ
w
], (1)其中，RC表示随机裁剪操作，φ用于控制RC裁剪区域范围。φ
y
表示裁剪区域左上角纵坐标，φ
x
表示裁剪区域左上角横坐标，φ
h
表示裁剪区域长度，φ
w
表示裁剪区域宽度。3.根据权利要求2所述的一种适用于跨...

【专利技术属性】
技术研发人员：朱建清，黄麟涵，赵倩倩，潘文杰，陈宇涛，曾焕强，廖昀，杜吉祥，
申请(专利权)人：厦门亿联网络技术股份有限公司，
类型：发明
国别省市：