一种基于卷积神经网络的遥感图像目标检测方法技术

本发明专利技术公开了一种基于卷积神经网络的遥感图像目标检测方法，所述方法包括：构建由目标检测分支网络和显著性重建分支网络组成的双分支卷积神经网络，所述卷积神经网络用于增强目标区域的特征；分别构建像素级以及目标级损失函数，在两个损失函数的共同约束下对所述卷积神经网络进行训练，促使卷积神经网络在特征提取过程中增强目标区域的特征；通过截断型VGG与显著性重建分支网络联合完成显著性信息的自适应提取，通过截断型VGG与目标检测分支网络共同完成目标的定位与分类。本发明专利技术自适应提取有效的显著性信息，增强目标区域特征，抑制背景干扰，改善CNN在遥感图像复杂场景中的特征提取性能，提升目标检测的精度。

A Target Detection Method for Remote Sensing Images Based on Convolutional Neural Network

The invention discloses a remote sensing image target detection method based on convolution neural network. The method includes: constructing a dual-branch convolution neural network consisting of a target detection branch network and a saliency reconstruction branch network, the convolution neural network is used to enhance the characteristics of the target area; constructing a pixel-level loss function and a target-level loss function respectively, and joining the two loss functions. The convolutional neural network is trained under constraints to enhance the features of the target area in the feature extraction process. The truncated VGG and the saliency reconstruction branch network are combined to achieve the adaptive extraction of saliency information, and the truncated VGG and the target detection branch network are used to locate and classify the target. The invention adaptively extracts effective saliency information, enhances target region features, suppresses background interference, improves the feature extraction performance of CNN in complex scenes of remote sensing images, and improves the accuracy of target detection.

【技术实现步骤摘要】
一种基于卷积神经网络的遥感图像目标检测方法
本专利技术涉及图像处理、计算机视觉
，尤其涉及一种基于卷积神经网络的遥感图像目标检测方法。
技术介绍
作为遥感图像分析领域的研究热点，目标检测旨在从大规模遥感图像中快速定位特定目标，被广泛应用于交通管理、城市规划、以及军事监控等领域，具有重要的应用价值。近年来，随着深度学习理论研究的突破，深度学习网络初步应用于遥感图像目标检测领域。深度学习网络简化特征在设计过程的同时显著提升了目标检测方法的特征提取性能，增强了检测方法的实用性与有效性。目前图像处理领域中，卷积神经网络(ConvolutionalNeuralNetwork，CNN)为使用最广泛的深度学习网络，其根据所提供的目标与损失函数自适应调整网络参数，具有自动提取语义信息丰富、判别能力强的特征，能有效改善特征提取性能。随着遥感图像成像技术的进步，遥感图像中丰富的图像信息不仅为CNN的应用奠定了数据基础，还给CNN的特征提取过程提出了的挑战。遥感图像丰富的场景信息干扰了CNN的特征提取过程。因此，如何处理好遥感图像中背景和目标特征的关系，改善CNN的特征提取性能，获得了更多的关注。Fang等人提出一体化的CNN分类网络，利用CNN实现图像特征提取，并结合归一化指数函数(softmax)层完成遥感图像的场景分类任务。Li等人利用两个独立的CNN网络分别完成遥感图像场景识别和目标检测的任务，实现了由粗到细的遥感图像目标检测。Zhao等人利用CNN网络完成对飞机目标关键点的坐标回归任务，由网络对关键点坐标进行预测，从而完成目标种类识别的任务。Cheng等人通过在CNN中加入一层旋转不变层实现遥感图像多方向目标的特征提取。Zhang等人提出了双联合CNN检测方法，对目标候选区域进行提取并实现目标精确检测，不断缩小目标待检测区域并提升遥感目标检测精度。Zou等人提出了基于目标先验概率的检测框架用于遥感图像的目标检测，其通过最大化训练样本与观测值的后验概率自适应地更新检测网络。专利技术人在实现本专利技术的过程中，发现现有技术中至少存在以下缺点和不足：现有的基于CNN的遥感图像目标检测方法仅针对目标特性进行处理，并未充分考虑到遥感图像中复杂背景与目标特征的混淆问题；现有方法在利用显著性信息时通常将显著性检测作为预处理或后处理过程，网络无法根据显著性信息有效地调整模型参数。
技术实现思路
本专利技术提供了一种基于卷积神经网络的遥感图像目标检测方法，本专利技术通过对CNN的网络结构及特征图进行深入研究，设计一种双分支卷积神经网络以及损失函数，自适应提取有效的显著性信息，增强目标区域特征，抑制背景干扰，改善CNN在遥感图像复杂场景中的特征提取性能，提升目标检测的精度，详见下文描述：一种基于卷积神经网络的遥感图像目标检测方法，所述方法包括：构建由目标检测分支网络和显著性重建分支网络组成的双分支卷积神经网络，所述卷积神经网络用于增强目标区域的特征；分别构建像素级以及目标级损失函数，在两个损失函数的共同约束下对所述卷积神经网络进行训练，促使卷积神经网络在特征提取过程中增强目标区域的特征；通过截断型VGG与显著性重建分支网络联合完成显著性信息的自适应提取，通过截断型VGG与目标检测分支网络共同完成目标的定位与分类。其中，所述目标检测分支网络为多尺度特征图网络结构，包括：5层卷积层，以及5层非线性层，每一卷积层的设置均相同。进一步地，所述显著性重建分支网络包括：13层卷积层、13层非线性层、5层基于池化索引的上采样层，每层非线性层均接在卷积层后，且分别在输入特征、非线性层ReLU5_3u、ReLU4_3u、ReLU3_3u、和ReLU2_2u后设置上采样层；最后一层卷积层的输出设置为双通道，分别用于计算重建图像中每一像素属于显著性区域和背景的置信度，与对应的标签C进行比较并计算像素级损失其中，目标检测分支网络和显著性重建分支网络的公共部分由截断型VGG构成，用于提取目标区域增强的特征。进一步地，所述截断型VGG结构由VGG-16中除三层全连接层以外的其他层构成。其中，所述像素级损失函数用于引导网络训练，将显著性检测结果作为标签使网络自适应学习有效的显著性信息，优化显著性信息的提取过程。其中，所述在两个损失函数的共同约束下对所述卷积神经网络进行训练具体为：训练阶段，输入图像为遥感图像，显著性图像设置为像素级损失函数对应的标签，图像中待检测目标的坐标类别信息设置为目标级损失函数所需的标签。具体实现时，网络训练所采用的总损失函数为：其中，α为像素级损失函数的权重因子。进一步地，所述方法还包括：在训练时采用Imagenet上训练好的VGG-16作为预训练网络，利用实验数据集继续训练，损失函数的优化采用随机梯度下降法。进一步地，所述方法还包括：在检测阶段舍弃网络中的显著性重建分支，即去除显著性重建分支网络的所有层。本专利技术提供的技术方案的有益效果是：1、本专利技术设计了一个双分支卷积神经网络和一种综合了像素级与目标级损失的总损失函数，可以自适应提取有效的显著性信息；2、本专利技术有效抑制特征图中背景干扰的同时增强目标区域特征，提升检测方法的特征提取性能与检测精度；3、本专利技术在目标检测阶段去除辅助训练的显著性重建分支，不增加额外参数，满足遥感图像目标检测对于检测方法实时性与高精度的要求，实用性较高。附图说明图1给出了本专利技术提供的一种基于卷积神经网络的遥感图像目标检测方法的流程图；图2为多尺度特征图网络的结构示意图；图3为显著性重建分支网络的结构示意图；图4为截断型VGG的结构示意图；图5为预定义缺省框对目标进行定位和分类的原理示意图；图6为本专利技术的检测结果示例图；图7给出了本专利技术与其他方法的对比实验结果图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1本专利技术实施例提出了一种基于卷积神经网络的遥感图像目标检测方法，该方法构建了双分支卷积神经网络，并设计了像素级和目标级损失函数，用于自适应提取显著性信息，增强目标区域的特征图，完成目标检测的任务，参见图1，主要包括以下步骤：101：构建由目标检测分支网络和显著性重建分支网络组成的双分支卷积神经网络，该卷积神经网络用于增强目标区域的特征；102：分别构建像素级以及目标级损失函数，在两个损失函数的共同约束下对卷积神经网络进行训练，促使卷积神经网络在特征提取过程中增强目标区域的特征；103：通过截断型VGG与显著性重建分支网络联合完成显著性信息的自适应提取，通过截断型VGG与目标检测分支网络共同完成目标的定位与分类。其中，步骤101中的目标检测分支网络为多尺度特征图网络结构，包括：5层卷积层，以及5层非线性层，每一卷积层的设置均相同。进一步地，步骤101中的显著性重建分支网络包括：13层卷积层、13层非线性层、5层基于池化索引的上采样层，每层非线性层均接在卷积层后，且分别在输入特征、非线性层ReLU5_3u、ReLU4_3u、ReLU3_3u、和ReLU2_2u后设置上采样层；最后一层卷积层的输出设置为双通道，分别用于计算重建图像中每一像素属于显著性区域和背景的置信度，与对应的标签进行比较并计算像素级损失其中，目标检测分支网络和显著性重建分支网络的公共部分由截断型VG本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的遥感图像目标检测方法，其特征在于，所述方法包括：构建由目标检测分支网络和显著性重建分支网络组成的双分支卷积神经网络，所述卷积神经网络用于增强目标区域的特征；分别构建像素级以及目标级损失函数，在两个损失函数的共同约束下对所述卷积神经网络进行训练，促使卷积神经网络在特征提取过程中增强目标区域的特征；通过截断型VGG与显著性重建分支网络联合完成显著性信息的自适应提取，通过截断型VGG与目标检测分支网络共同完成目标的定位与分类。

【技术特征摘要】
1.一种基于卷积神经网络的遥感图像目标检测方法，其特征在于，所述方法包括：构建由目标检测分支网络和显著性重建分支网络组成的双分支卷积神经网络，所述卷积神经网络用于增强目标区域的特征；分别构建像素级以及目标级损失函数，在两个损失函数的共同约束下对所述卷积神经网络进行训练，促使卷积神经网络在特征提取过程中增强目标区域的特征；通过截断型VGG与显著性重建分支网络联合完成显著性信息的自适应提取，通过截断型VGG与目标检测分支网络共同完成目标的定位与分类。2.根据权利要求1所述的一种基于卷积神经网络的遥感图像目标检测方法，其特征在于，所述目标检测分支网络为多尺度特征图网络结构，包括：5层卷积层，以及5层非线性层，每一卷积层的设置均相同。3.根据权利要求1所述的一种基于卷积神经网络的遥感图像目标检测方法，其特征在于，所述显著性重建分支网络包括：13层卷积层、13层非线性层、5层基于池化索引的上采样层，每层非线性层均接在卷积层后，且分别在输入特征、非线性层ReLU5_3u、ReLU4_3u、ReLU3_3u、和ReLU2_2u后设置上采样层；最后一层卷积层的输出设置为双通道，分别用于计算重建图像中每一像素属于显著性区域和背景的置信度，与对应的标签进行比较并计算像素级损失4.根据权利要求1所述的一种基于卷积神经网络的遥感图像目标检测方法，其特征在于，目标检测分支网络和显著性重建分支网络的公共部分由截断型VGG构成，用于...

【专利技术属性】
技术研发人员：雷建军，罗晓维，李奕，牛力杰，陈越，郭琰，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12