一种基于生成对抗网络的多波段图像目标检测方法技术

本发明专利技术提供了一种基于生成对抗网络的多波段图像目标检测方法，所述方法包括：基于VGG16分类模型得到鉴别器，基于并行卷积神经网络的多波段目标检测网络构建生成器；基于所述生成器和所述鉴别器得到生成对抗网络，基于所述生成对抗网络检测目标；本发明专利技术提出的检测方法的检测效果好，容易识别出一些复杂场景下的难检测目标；且网络结构简单。且网络结构简单。且网络结构简单。

【技术实现步骤摘要】
一种基于生成对抗网络的多波段图像目标检测方法


[0001]本专利技术属于态势感知
，尤其涉及一种基于生成对抗网络的多波段图像目标检测方法。

技术介绍

[0002]红外图像与可见光图像具有很多互补的特性。红外传感器通过捕捉物体的热辐射成像，受光线、天气等条件的影响较小，且能够识别出伪装、遮挡下的目标，但红外传感器的成像分辨率较低，缺乏场景的细节信息。可见光传感器成像分辨率较高，且细节丰富，但成像系统在光线较暗时成像较差，且较难检测到受遮挡、伪装的目标。为此，将红外与可见光多波段图像相结合用于目标检测可充分利用两者的优势，有效弥补单一传感器的不足。
[0003]卷积神经网络在自然图像目标检测任务中取得了很大的成功，这驱使研究者们将卷积神经网络应用于红外与可见光多波段图像目标检测任务中。在特征级检测中，一个很重要的部分是利用卷积神经网络对红外图像和可见光图像分别提取特征，基于提取的特征才可进行后续的检测。
[0004]目前，基于卷积神经网络的多波段目标检测方法，大多采用两个相同的神经网络来提取红外与可见光图像特征，然而红外图像与可见光图像中的特征信息往往是不同的且互补的，仅仅利用一种网络不能将这些互补特征有效地提取出来，导致检测精度的降低。
[0005]在红外与可见光图像中，一些目标是很难检测的。例如，一些目标的纹理和形状与背景非常相似，图像中感兴趣的目标经常会被遮挡等。一般来讲，基于卷积神经网络的目标检测方法常常采用两种策略来处理难检测的目标。第一种策略是收集大规模的数据集，使数据集中尽可能多的包含各种复杂条件下的目标实例。采集自然场景下的图像是相对容易的，然而采集大规模复杂场景下的红外与可见光图像却是非常困难的。第二种策略是采用更深更复杂的卷积神经网络来提高检测方法的识别能力。尽管这些网络可以产生更好的检测结果，但这将大大增加计算和内存消耗。

技术实现思路

[0006]针对上述技术问题，本专利技术提供了一种基于生成对抗网络的多波段图像目标检测方法，所述方法包括：
[0007]基于VGG16分类模型得到鉴别器，基于并行卷积神经网络的多波段目标检测网络构建生成器；
[0008]基于所述生成器和所述鉴别器得到生成对抗网络，基于所述生成对抗网络检测目标。
[0009]优选地，所述鉴别器包括：
[0010]卷积层，由VGG16网络中的13个卷积层构成；
[0011]全连接层，由一个神经元构成，用于输出概率值。
[0012]优选地，所述鉴别器用于区分真样本和假样本；所述鉴别器输出的是一个在[0,1]范围内的概率值；其中，1代表真样本，0代表假样本。
[0013]优选地，所述方法还包括：
[0014]将所述生成器输出的检测结果设定为假样本；
[0015]将输入图像中真实的目标设定为真样本。
[0016]优选地，所述基于并行卷积神经网络的多波段目标检测网络构建生成器，包括：
[0017]所述生成器采用的目标检测框架是Faster R
‑
CNN；并将所述Faster R
‑
CNN中的单个卷积网络替换为并行卷积神经网络。
[0018]优选地，所述并行卷积神经网络包括：
[0019]第一网络，用于提取红外图像中目标的语义特征；
[0020]第二网络，用于提取可见光图像中的细节信息。
[0021]优选地，所述基于所述生成对抗网络检测目标，包括：
[0022]经过所述生成器和所述鉴别器不断地对抗学习，使得所述生成对抗网络识别出目标。
[0023]优选地，所述生成对抗网络仅在训练阶段中使用。
[0024]本专利技术的有益技术效果：
[0025]本专利技术提出的检测方法的检测效果好，容易识别出一些复杂场景下的难检测目标；且网络结构简单。
附图说明
[0026]图1是本专利技术实施例提供的基于并行卷积神经网络的目标检测算法流程图；
[0027]图2是本专利技术实施例提供的并行卷积神经网络的网络结构示意图；
[0028]图3是本专利技术实施例提供的基于生成对抗网络的目标检测算法流程图；
[0029]图4是本专利技术实施例提供的检测方法的检测结果示意图。
具体实施方式
[0030]针对提取互补特征困难的问题，提出一种并行的卷积神经网络来有效提取红外与可见光图像中的互补特征。考虑到红外图像通常包含的是目标的粗糙轮廓信息，而可见光图像中的目标具有更加丰富的细节信息。为红外图像设计了一个相对较深的卷积神经网络来提取目标的语义特征，而为可见光图像设计了一个相对较浅的卷积神经网络来提取目标的细节信息。利用这种精心设计的并行卷积神经网络，可以有效地提取出多波段图像中的互补特征。然后，将并行的卷积神经网络嵌入到目标检测框架Faster R
‑
CNN中，可实现快速准确的多波段图像目标检测。
[0031]为提高难检测样本的精度，提出一种基于生成对抗网络的红外与可见光图像目标检测方法。生成对抗网络由一个生成器和一个鉴别器组成。生成器设定为基于并行卷积神经网络的多波段目标检测网络。生成器输出的检测结果设定为假样本，输入图像中真实的目标设定为真样本。采用VGG16分类模型作为鉴别器，负责区分真假样本。经过生成器与鉴别器不断地对抗学习，最终可使检测网络鲁棒地识别出难检测目标。下面是具体描述：
[0032]一、并行卷积神经网络
[0033]图1显示了基于并行卷积神经网络的多波段目标检测方法流程图。检测网络采用
的目标检测框架是Faster R
‑
CNN。为了提取红外与可见光图像中的互补特征，将Faster R
‑
CNN中的单个卷积网络替换为了并行卷积神经网络。如图1所示，相对较深的“网络1”被用来提取红外图像中目标的语义特征，相对较浅的“网络2”被用来提取可见光图像中丰富的细节信息。然后将“网络1”和“网络2”提取的特征按通道进行拼接与融合。融合的特征一方面用于候选区域网络以生成多尺度、多长宽比的候选区域，另一方面用于候选区域的分类与回归，经过分类与回归，网络可输出检测结果。
[0034]图2显示了并行卷积神经网络的网络结构，可以看出该网络主要包括四部分：输入、网络1和网络2、特征拼接、特征融合。
[0035](1)输入：并行卷积网络有两个输入，即红外图像与可见光图像。两幅图像都是单通道的灰度图像。
[0036](2)网络1和网络2：“网络1”被设计为具有较多的卷积层，以有效提取红外目标的语义特征。采用VGG16分类模型中的13个卷积层来创建“网络1”。如图2所示，“conv”表示一个卷积层后接一个ReLU激活函数。“33 33 64”表示卷积层的滤波核大小为33 3，输出的通道数目为64。最大池化(“maxpooling”)穿插在卷积层中实现特征图的下采样。“网络2”被设计为具有较少的卷积层，负责提取可见光图像中丰富的细节信息。“网络2”共包含5个卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的多波段图像目标检测方法，其特征在于，所述方法包括：基于VGG16分类模型得到鉴别器，基于并行卷积神经网络的多波段目标检测网络构建生成器；基于所述生成器和所述鉴别器得到生成对抗网络，基于所述生成对抗网络检测目标。2.根据权利要求1所述的方法，其特征在于，所述鉴别器包括：卷积层，由VGG16网络中的13个卷积层构成；全连接层，由一个神经元构成，用于输出概率值。3.根据权利要求2所述的方法，其特征在于，所述鉴别器用于区分真样本和假样本；所述鉴别器输出的是一个在[0,1]范围内的概率值；其中，1代表真样本，0代表假样本。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：将所述生成器输出的检测结果设定为假样本；将输入图像中真实的目标设定为真样本。5.根...

【专利技术属性】
技术研发人员：马金磊，孟浩，余爱国，石璐璐，左艳辉，
申请(专利权)人：中国直升机设计研究所，
类型：发明
国别省市：