一种基于深度学习的遥感图像目标检测方法技术

本发明专利技术涉及一种基于深度学习的遥感图像目标检测方法，包括：利用遥感图像构建相关数据集：对遥感图像进行分类和标注后，图像数据集及经过标记工作生成的类别标签；搭建基于生成对抗网络的全色锐化模型；搭建基于深度卷积神经网络的目标检测模型，通过反向传播和随机梯度下降等方法对模型进行端到端训练；对构建好的模型进行端到端测试。本发明专利技术具有准确性高的优点。

A target detection method for remote sensing image based on deep learning

The invention relates to a remote sensing image target detection method based on depth learning, which includes: constructing relevant data sets by using remote sensing images: classifying and annotating remote sensing images, image data sets and class labels generated by labeling work; constructing a panchromatic sharpening model based on generating confrontation network; and constructing a depth-based panchromatic sharpening model. Degree convolution neural network target detection model, through the back propagation and stochastic gradient descent method to the model end-to-end training; to build a good model end-to-end testing. The invention has the advantages of high accuracy.

【技术实现步骤摘要】
一种基于深度学习的遥感图像目标检测方法
本专利技术涉及遥感图像处理、深度学习、模式识别等领域，尤其是涉及一种基于深度学习，使用生成对抗网络对光谱图像进行全色锐化处理和目标检测的方法。
技术介绍
由于信号传输波段和成像传感器存储的限制，大多数遥感卫星仅提供具有高光谱分辨率的多光谱(MSI)图像，和高空间分辨率的全色(PAN)图像。利用两种图像的优势互补，融合成具有清晰空间细节和丰富的光谱信息的融合遥感图像，这种融合技术，也被称为全色锐化技术。目前，遥感领域主流的全色锐化方法有分量替换法、多尺度分析法等。分量替换法主要通过主成分分析，施密特正交化，和强度、色调、饱和度变换等方法，在颜色空间域上对光谱图像进行变换，用全色图像替换多光谱图像的空间信息通道，由逆变换得到融合图像。多尺度分析法，指的是基于小波变换、拉普拉斯金字塔和多尺度几何分析等途径，将源图像运用多分辨分析工具分解为一序列分解系数，然后将这些分解系数通过某种融合准则合并成融合图像的分解系数，最后通过多分辨率分析工具逆变换获得融合图像。近年来，基于大规模数据的出现和深度神经网络的发展，深度学习方法成为了机器学习领域的重要研究方向。基于深度学习技术和博弈论的思想，能够由低维特征生成高维样本的生成对抗网络(GenerativeAdversarialNetworks，GAN)可以被引入用于全色锐化过程，GAN由生成网络模型和判别网络模型所构成。生成模型可以帮助生成相关样本数据，而判别模型可以判断样本的真实度，两者同时训练，生成模型则不断加强，通过不断迭代，使生成样本越来越接近真实样本。作为模式识别在遥感领域的一个重要应用，基于遥感图像下的多种类多尺度目标检测与识别是地理勘测、军事侦察和精准打击等领域的一项关键技术，如何提高目标检测的精度，也一直是遥感应用领域的研究热点和难点，有着重要的军事和民用价值。随着高分辨率遥感技术的快速发展，得以搭建大规模高分辨率遥感影像数据集，为开发更加智能的遥感影像目标检测系统提供了可能，从海量数据中提取目标有效特征就成为遥感图像应用的关键技术。传统检测算法几乎均是在某种给定的特征基础上，完成分类和检测工作。提取的特征及检测模型作为决定检测效果的两大重要因素，对模型起到至关重要的作用。这就要求对输入的特征有着严格的要求，并且找到匹配该特征的检测模型。然而上述要求无疑是复杂而耗时的，并且强烈依赖于专业知识和数据本身的特征，此外，很难从大规模数据中学习出一个有效的分类模型，来充分挖掘大规模数据之间的相互关联。随着深度学习方法的发展，使得原始数据作为输入，实现端到端(End-to-End)的学习过程成为可能。深层人工神经网络有很强的特征学习能力，深度学习模型学习得到的特征数据对原数据有更本质的代表性，通过大规模数据训练好的基于深度学习技术的目标检测模型更能提取其丰富的内在信息，有利于可视化和分类问题处理。因此基于卷积神经网络，可以设计一种能够自动学习特征的方法，通过对大量数据本身的学习，获取其中最有效的深层特征，并通过建立相对复杂的网络结构，充分挖掘数据之间的关联。
技术实现思路
本专利技术的目的是提供一种基于深度学习的遥感图像目标检测方法，本专利技术应用于全色锐化的生成对抗网络模型，能够实现遥感图像中信息含量的扩充；应用于目标检测的深度卷积神经网络模型，准确性更高，实时性更好，鲁棒性更强。为实现上述专利技术目的，本专利技术采用如下的技术方案：一种基于深度学习的遥感图像目标检测方法，包括下列步骤：1)利用遥感图像构建相关数据集：对遥感图像进行分类和标注后，图像数据集及经过标记工作生成的类别标签，并划分训练集和测试集，用于后续的网络训练和测试；2)搭建基于生成对抗网络的全色锐化模型：GAN的生成网络G是可以学习从随机噪声向量z和1中所述数据集中的图像x，到生成的样本图像y的映射，即G：{x,z}→y，生成模型采取增加了跳转连接的U-Net结构，分为编码层和解码层两部分，每编码一层，特征图长和宽减半，特征层数增加一半，每解码一层，特征图的长和宽加倍，特征层数增加加倍，和对应的编码层，通过通道串接，然后进行反卷积处理；基于用于分类的卷积神经网络CNN，设计判别网络模型，该网络被设计为含有一个串接层，和四层卷积层；3)搭建基于深度卷积神经网络的目标检测模型：按照目标检测算法的候选区域生成，特征提取，分类，位置精修的四个步骤，将上述步骤统一到一个深度网络框架之内，在GPU内并行运算，特征提取以残差网络ResNet作为基础分类网络，其中包含若干卷积层和线性单元ReLU，设计区域生成网络结构，在提取好的特征图上，对所有可能的候选框进行判别，通过共享卷积，减少计算建议框的边际成本，通过反向传播和随机梯度下降方法对模型进行端到端训练；4)对构建好的模型进行端到端测试：基于步骤1中构建好的数据集，训练目标检测模型并测试模型。与现有的技术相比，本专利技术的提升和优势在于：一、与所有现有的遥感图像目标检测方法的思路不同，本专利技术创新性地提出基于深度学习方法的级联的先进行全色锐化处理再进行目标检测的方法。进行全色锐化的过程中，GAN能够利用深度卷积神经网络提取大规模数据中隐含的高维深层特征，其结构也能够最大程度地减少卷积过程的信息损失。进行全色锐化后的遥感图像，具有清晰的空间细节和丰富的的光谱信息，具有相对于全色图像和光谱图像的高空间分辨率和高光谱分辨率的特性，能够提高数据集中遥感数据的基础利用信息的丰度，空间分辨率的提升对于小目标的检测更具有实际应用意义。通过训练好的模型直接对图像进行端到端的检测工作，其更为高效，时间和计算冗余度更低。二、与现有的遥感图像目标检测的传统方法不同，本专利技术创新性地提出基于深度卷积神经网络的目标检测网络模型。相对于HOG特征等手工特征提取，特征可以直接用数据中经过卷积神经网络后得到的特征图表示，由于卷积操作具有平移不变形，特征图中不仅包含了物体的类别信息，还包含着物体的位置信息，所以特征的分类结果和位置回归具有更好的准确性和更强的普适性。本专利技术采用区域生成网络，区域推荐也放在网络里完成，从特征提取到最后检测的全过程都在一个网络中完成，速度提升更高，同时解决了拟合相关问题。附图说明图1为本专利技术所需实验的流程图。图2为全色锐化的生成网络结构示意图。图3为遥感图像的全色锐化效果图，(a)全色遥感图像数据；(b)光谱遥感图像数据；(c)融合遥感图像数据；(d)本专利技术融合遥感图像数据。图4为区域生成网络结构图。具体实施方式为使本专利技术的技术方案更加清楚，下面对本专利技术具体实施方式做进一步地描述。如图1所示，本专利技术按以下步骤具体实现：1.构建大规模遥感图像数据集本专利技术选用网络公开的SpaceNetonAWS、NWPUVHR-10、美国地质勘探局USGS等遥感图像集进行检测任务的数据集构建。NWPUVHR-10数据集是一个公开可用的十种类地理空间物体检测数据集。这十类物品是飞机、船舶、储油罐、港口和桥梁等，包含高分辨率图像和图中目标及其标注的标签文件。SpaceNet是托管于Amazon公司AWS云服务平台的大规模遥感图像数据集，为DigitalGlobe、CosmiQWorks以及NVIDIA共同完成，其包含卫星图像的在线存储库和已经标注好的训练数据，是公开发本文档来自技高网...

【技术保护点】
1.一种基于深度学习的遥感图像目标检测方法，包括下列步骤：1)利用遥感图像构建相关数据集：对遥感图像进行分类和标注后，图像数据集及经过标记工作生成的类别标签，并划分训练集和测试集，用于后续的网络训练和测试；2)搭建基于生成对抗网络的全色锐化模型：GAN的生成网络G是可以学习从随机噪声向量z和1中所述数据集中的图像x，到生成的样本图像y的映射，即G：{x,z}→y，生成模型采取增加了跳转连接的U‑Net结构，分为编码层和解码层两部分，每编码一层，特征图长和宽减半，特征层数增加一半，每解码一层，特征图的长和宽加倍，特征层数增加加倍，和对应的编码层，通过通道串接，然后进行反卷积处理；基于用于分类的卷积神经网络CNN，设计判别网络模型，该网络被设计为含有一个串接层和四层卷积层；3)搭建基于深度卷积神经网络的目标检测模型：按照目标检测算法的候选区域生成，特征提取，分类，位置精修的四个步骤，将上述步骤统一到一个深度网络框架之内，在GPU内并行运算，特征提取以残差网络ResNet作为基础分类网络，其中包含若干卷积层和线性单元ReLU，设计区域生成网络结构，在提取好的特征图上，对所有可能的候选框进行判别，通过共享卷积，减少计算建议框的边际成本，通过反向传播和随机梯度下降方法对模型进行端到端训练；4)对构建好的模型进行端到端测试：基于步骤1中构建好的数据集，训练目标检测模型并测试模型。...

【技术特征摘要】
1.一种基于深度学习的遥感图像目标检测方法，包括下列步骤：1)利用遥感图像构建相关数据集：对遥感图像进行分类和标注后，图像数据集及经过标记工作生成的类别标签，并划分训练集和测试集，用于后续的网络训练和测试；2)搭建基于生成对抗网络的全色锐化模型：GAN的生成网络G是可以学习从随机噪声向量z和1中所述数据集中的图像x，到生成的样本图像y的映射，即G：{x,z}→y，生成模型采取增加了跳转连接的U-Net结构，分为编码层和解码层两部分，每编码一层，特征图长和宽减半，特征层数增加一半，每解码一层，特征图的长和宽加倍，特征层数增加加倍，和对应的编码层，通过通道串接，然后进行反卷积处理；基于用于...

【专利技术属性】
技术研发人员：侯春萍，夏晗，杨阳，管岱，莫晓蕾，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12