一种应用于目标检测的红外图像数据增强方法技术

本发明专利技术提供了一种应用于目标检测的红外图像数据增强方法，该数据增强方法使用的红外图像生成器由生成器和鉴别器两部分组成，所述生成器基于输入的彩色图像生成相应的红外图像，鉴别器负责鉴别生成图像的数据分布是否与真实图像一致，以最小化两种图像数据分布的距离为目标对生成器进行优化，从而确保生成红外图像与输入的彩色图像具有相同的内容及物体位置；本发明专利技术利用图像转换生成所需图像，通过构建生成对抗网络作为红外图像生成器，将输入的彩色图像从彩色域转换至红外域，从而有效的解决红外图像数据量缺乏，不足以支撑训练检测器的问题。本发明专利技术便于训练基于红外图像的目标检测网络，以提高在光照条件不良的环境下目标的检出率。的检出率。的检出率。

【技术实现步骤摘要】
一种应用于目标检测的红外图像数据增强方法


[0001]本专利技术属于计算机视觉中的数据增强
，主要涉及一种解决目标检测缺少图像数据样本的数据增强方法。

技术介绍

[0002]基于可见光的图像受限于场景的光照条件，在光照条件不良的环境下成像质量不佳，有效信息严重缺失，致使目标检出困难。相较于可见光，红外成像不依赖于光照条件，抗干扰能力强，可以全天候不分昼夜地清楚成像，从而显著地增加在诸如夜晚、阴雨天等环境下的目标检出率。
[0003]近年来深度学习技术依靠强大的视觉信息处理能力，在目标检测领域表现优异。而然其优异的表现很大程度上依靠于大量的样本数据。在大部分情况下，红外图像获取较为困难，少量的红外图像不足以支撑目标检测网络的训练。同时因样本匮乏，常规的图像增强方法，如各种线性变化，颜色抖动等无法给训练样本在多样化层面上带来实质性的提升。相较之下，基于原始样本数据分布随机生成的图像能够扩大训练样本覆盖的场景，表现出更大的多样性，从而为检测网络的训练提供有力的支撑。
[0004]深度学习技术在计算机视觉领域的优异表现离不开大量训练数据的支持，相较于获取容易的彩色图像，在很多实际的项目中，红外图像作为训练样本存在数量不足以及获取困难的问题。

技术实现思路

[0005]针对上述问题，本专利技术的目的提供了一种应用于目标检测的红外图像数据增强方法。该方法利用图像转换生成所需图像，通过构建生成对抗网络作为红外图像生成器，将输入的彩色图像从彩色域转换至红外域，从而有效的解决红外图像数据量缺乏，不足以支撑训练检测器的问题。本专利技术便于训练基于红外图像的目标检测网络，以提高在光照条件不良的环境下目标的检出率。
[0006]第一方面，本项专利技术提供了一种应用于目标检测的红外图像数据增强方法，该数据增强方法使用的红外图像生成器由生成器和鉴别器两部分组成，其本质为一个生成对抗网络。生成器基于输入的彩色图像生成相应的红外图像，而鉴别器负责鉴别生成图像的数据分布是否与真实图像一致，以最小化两种图像数据分布的距离为目标对生成器进行优化，从而确保生成红外图像与输入的彩色图像具有相同的内容及物体位置。
[0007]其中生成器的任务是生成与输入的彩色图像内容一致的红外图像，生成器采用了经典的Encode-Decode网络结构。Encode-Decode 网络结构中间通过一个桥接器衔接Encode和Decode两部分，Encode 负责对彩色图像进行特征抽取，逐层得到分辨率逐渐变小的深层特征， Decode部分负责特征还原，将Encode部分获取特征逐层还原放大，最终输出和输入的彩色图像大小相同的红外图像。Encode部分和 Decode部分由相均由卷积模块组成，同时在Encode和Decode中输出相同尺寸特征图的卷积模块之间建立shutcut，将尺寸相
同的特征图融合，令Decode部分每一个卷积模块的输入都融合了颜色信息和语义信息。
[0008]鉴别器的任务是基于生成图像的数据分布判断生成图像的“真假”，若生成图像判断为“真”，则生成图像数据分布与真实图像相近。因鉴别器的作用类似于一个二分类器，故使用一个轻量级的多层卷积神经网络作为实现。
[0009]作为可选的实现方式，生成器中Encode部分的卷积模块的内部结构可采用步长为1的卷积+批量正则化+Relu激活+最大池化的组合方式。
[0010]作为可选的实现方式，生成器中Encode部分的卷积模块的内部结构可采用步长为2的卷积+批量正则化+Relu激活的组合方式。
[0011]作为可选的实现方式，生成器中Decode部分除最后的卷积模块，其余卷积模块内部结构可采用步长为1的卷积+批量正则化+Relu激活+双线性/近邻插值的组合方式。
[0012]作为可选的实现方式，生成器中Decode部分除最后的卷积模块，其余卷积模块的内部结构可采用步长为2的转置卷积+批量正则化 +Relu/Leaky Relu激活的组合方式。
[0013]作为可选的实现方式，生成器中Decode部分最后的卷积模块内部结构可采用步长为1的卷积+sigmoid/tanh激活的组合方式。
[0014]作为可选的实现方式，生成器中的Encode部分和Decode部分的特征融合可采用相加或拼接的方式。
[0015]作为可选的实现方式，鉴别器可采用经典的分类网络如Resnet， Vgg，Inception等。
[0016]第二方面，本项专利技术提供了红外图像生成器的训练方法，训练方法步骤如下：
[0017]1)将成对彩色图像和红外图像调整尺寸并归一化至0～1区间；
[0018]2)将经过预处理后的彩色图像输入到生成器；
[0019]3)将对应真实的红外图像和生成器生成的红外图像输入到鉴别器；
[0020]4)根据鉴别器输出的分类结果计算误差及生成图像和真实图像之间距离；
[0021]5)根据上述误差的梯度，利用RMSprop优化器调整红外图像生成器的参数；
[0022]作为可选的实现方式，使用生成图像和真实图像之间的瓦瑟斯坦 (Wasserstein)距离作为需要优化的目标函数。
[0023]作为可选的实现方式，使用生成图像和真实图像之差的L1正则化表示两者之间的距离。
[0024]作为可选的实现方式，使用生成图像和真实图像之差的L2正则化表示两者之间的距离(欧氏距离)。
[0025]作为可选的实现方式，可以将生成器和鉴别器按1：k的间隔进行交叉训练。
附图说明
[0026]图1是红外图像生成器的总体结构。
[0027]图2是生成器的总体结构图。
[0028]图3是生成器一种实现方式的分层结构图。
[0029]图4是鉴别器一种实现方式的结构图。
[0030]图5是图4的OSA模块blockx3结构图。
[0031]图6是红外图像生成器单次训练的流程图。
具体实施方式
[0032]下面结合附图对本项专利技术的一种实现方式作进一步说明
[0033]本专利技术的目的在于提供一种应用于目标检测的红外图像数据增强方法。
[0034]图1是红外图像生成器的结构图，如图所示红外图像生成器有两个输入端，一端连接生成器，另一端连接鉴别器，其中鉴别器仅在鉴别阶段使用。在训练阶段，将预处理后的彩色图像输入到生成器，待生成器生成红外图像后与真实的红外图像成对输入到鉴别器判断“真假”，即计算两者数据分布的距离。正式使用阶段，仅需向生成器输入彩色图像，然后由生成器生成对应的红外图像。
[0035]图2是生成器的网络结构，其中Encode部分，Decode部分以及中间的桥接器均由卷积模块组成，各部分的卷积模块内部结构如图3 所示，Encode部分及桥接器的卷积模块均采用步长为1的卷积层+批量正则化+Relu激活生成特征图，使用最大池化对特征图进行下采样。 Decode部分的卷积模块均采用步长为1的卷积层+批量正则化+LeakyR本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于目标检测的红外图像数据增强方法，其特征在于，该数据增强方法使用的红外图像生成器由生成器和鉴别器两部分组成，所述生成器基于输入的彩色图像生成相应的红外图像，鉴别器负责鉴别生成图像的数据分布是否与真实图像一致，以最小化两种图像数据分布的距离为目标对生成器进行优化，从而确保生成红外图像与输入的彩色图像具有相同的内容及物体位置；所述生成器的是生成与输入的彩色图像内容一致的红外图像，生成器采用Encode-Decode网络结构；Encode-Decode网络结构中间通过一个桥接器衔接Encode和Decode两部分，Encode负责对彩色图像进行特征抽取，逐层得到分辨率逐渐变小的深层特征，Decode部分负责特征还原，将Encode部分获取特征逐层还原放大，最终输出和输入的彩色图像大小相同的红外图像；Encode部分和Decode部分由相均由卷积模块组成，同时在Encode和Decode中输出相同尺寸特征图的卷积模块之间建立shutcut，将尺寸相同的特征图融合，令Decode部分每一个卷积模块的输入都融合了颜色信息和语义信息；所述鉴别器的任务是基于生成图像的数据分布判断生成图像的真假，若生成图像判断为真，则生成图像数据分布与真实图像相近。作为可选的实现方式，生成器中Encode部分的卷积模块的内部结构可采用步长为1的卷积+批量正则化+Relu激活+最大池化的组合方式。2.根据权利要求1所述的一种应用于目标检测的红外图像数据增强方法，其特征在于，生成器中En...

【专利技术属性】
技术研发人员：王伟栋，沈修平，
申请(专利权)人：上海悠络客电子科技股份有限公司，
类型：发明
国别省市：