基于特征融合卷积网络的光学遥感图像舰船检测方法技术

本发明专利技术公开了一种基于特征融合卷积网络的光学遥感图像舰船检测方法，主要解决现有技术中小尺寸舰船检测精度较低和检测速度较慢的问题。本发明专利技术的具体步骤如下：(1)构建特征融合卷积网络；(2)构造训练图像集和训练类标集；(3)对特征融合卷积网络进行训练；(4)对待测试的光学遥感图像进行海陆分离；(5)对待测试的光学遥感图像中的舰船进行检测。通过将不同分辨率的特征图进行融合，增加了小尺寸舰船的特征信息，并在多个不同分辨率的特征图上检测舰船，提高了小尺寸舰船的检测精度，同时结合光学遥感图像的灰度信息和梯度信息实现海陆分离，提高了舰船检测速度，本方法可应用于对光学遥感图像的舰船进行识别和检测。

Ship Detection Method in Optical Remote Sensing Images Based on Feature Fusion Convolution Network

The invention discloses an optical remote sensing image warship detection method based on feature fusion convolution network, which mainly solves the problems of low detection accuracy and slow detection speed of small and medium-sized warships in the prior art. The specific steps of the present invention are as follows: (1) constructing feature fusion convolution network; (2) constructing training image set and training class label set; (3) training feature fusion convolution network; (4) separating land and sea from the tested optical remote sensing image; (5) detecting ships in the tested optical remote sensing image. By fusing the feature maps of different resolutions, the feature information of small-sized warships is added, and the detection accuracy of small-sized warships is improved by detecting them on the feature maps of different resolutions. At the same time, the sea-land separation is realized by combining the gray information and gradient information of optical remote sensing images, and the detection speed of warships is improved. This method can be used to recognize and detect ships in optical remote sensing images.

【技术实现步骤摘要】
基于特征融合卷积网络的光学遥感图像舰船检测方法
本专利技术属于图像处理
，涉及一种光学遥感图像舰船检测方法，具体涉及一种基于特征融合卷积网络的光学遥感图像舰船检测方法，可应用于对光学遥感图像的舰船进行识别和检测。
技术介绍
目标检测技术是计算机视觉领域的核心问题之一，光学遥感图像舰船检测是以遥感卫星收集到的光学遥感影像数据作为数据源，采用图像处理技术对影像中舰船进行定位。光学遥感图像舰船检测是遥感应用技术中重要的研究方向，在海上救援、港口交通管理、海域安全等方面都具有广阔的应用前景。由于遥感图像中的舰船本身尺度差异较大，形态各异，分布区域很广泛，在海域过于分散，在港口等区域又过于密集，使得舰船检测成为了遥感图像目标检测中的难点。如何对遥感图像做出快速而准确的解译，有效地对舰船进行分类或检测，是一个重要的研究方向。例如，申请公开号为CN107563303A，名称为“一种基于深度学习的鲁棒性舰船目标检测方法”的专利申请，公开了一种基于深度学习的遥感图像舰船目标检测方法，该方法首先对训练样本进行处理并训练，得到训练分类器。之后对待检测的遥感图像进行预处理并进行海陆分割，得到海陆分割区域，并对不存在舰船的岸上区域进行遮挡；然后训练特征提取网络，结合海陆分割区域的旋转不变深度特征，通过多层卷积得到特征图并用深层卷积预测目标。最后利用分类激活特征图的方法得到舰船这一类别的响应图，对得到的响应图求连通域，得到初步检测框，再对舰船的参数进行估计，得到带有检测框的结果图。该方法通过训练分类器进行海陆分离来辅助遥感图像的特征进行检测，可以区分水域，排除岸上虚警，提高多角度目标的检测精度，大量减少由并排摆放引发的舰船漏检。其存在的不足之处是，由于要使用深层卷积得到的分类激活特征图的方法得到舰船这一类别的响应图，并通过响应图求连通域，得到初步检测框，未考虑到小尺寸的舰船在深层卷积特征太少，导致对小尺寸舰船检测精度较低。同时该方法采用的海陆分离方法为先提取光学遥感图像的区域特征再采用随机森林分类器进行分类，实现水域非水域的判别，海陆分离方法需要对光学遥感图像中每个像素点位置进行标记，海陆分离算法过于复杂导致舰船检测速度较慢。
技术实现思路
本专利技术的目的是针对上述现有技术的不足，提出一种基于特征融合卷积网络的光学遥感图像舰船检测方法，用于解决现有技术中存在的对小尺寸舰船检测精度和检测速度较低的技术问题。为克服上述现有技术的不足，本专利技术采取的技术方案包括如下步骤：(1)构建特征融合卷积网络：(1a)将VGG-16网络中的全连接层和softmax分类层通过设置的m个卷积层替换，m≥1，并将替换后的VGG-16网络作为特征融合卷积网络的主干；(1b)设定特征融合卷积网络主干的检测层为{D1,D2,…,Di,…,Dn}，n≥2，i＝1,2,…,i,…,n；(1c)按卷积层由浅到深的顺序，从特征融合卷积网络的主干中选择n个卷积层{C1,C2,…,Ci,…,Cn}对应的特征图{T1,T2,…,Ti,…Tn}，并将分辨率最小的特征图Tn作为特征融合卷积网络检测层Dn的输入；(1d)对特征图Tn-1进行卷积运算，得到特征图T′n-1，同时对Dn的输入进行上采样，得到与T′n-1分辨率相等的特征图An；(1e)对T′n-1与An进行元素加运算，并对元素加运算得到的特征图进行卷积，将卷积结果作为检测层Dn-1的输入；(1f)按照计算检测层Dn-1的输入的方式，依次计算Dn-2,Dn-3,…,Di+1,Di,…,D1的输入；(1g)将Di中分类子网络的输出和边框回归子网络的输出作为Di的输出；(2)构造训练图像集和训练类标集：(2a)从光学遥感影像数据集中选取p幅包含舰船的光学遥感图像，p≥1，并对每幅图像中舰船的位置边框进行标记；(2b)计算每个舰船位置边框中心位置(x1,y1)的切割基准点的位置坐标(x,y)：x＝x1-Δx1y＝y1-Δy1其中，Δx1,Δy1为x1,y1产生的坐标偏移量；(2c)以左上角位置坐标为(x,y)，右下角位置坐标为(x+w,y+h)的矩形框对每幅光学遥感图像进行切割，得到多个大小为w×h的光学遥感图像构成的训练图像集，其中，w,h为特征融合卷积网络输入的长和宽；(2d)记录训练图像集中每幅训练图像里所有舰船的中心点坐标和舰船的长与宽，并将记录的内容保存为与训练图像集对应的训练类标集；(3)对特征融合卷积网络进行训练：将训练图像集和训练类标集输入到特征融合卷积网络中，得到Di上分类子网络的分类损失值和边框回归子网络的边框回归损失值，并采用反向传播算法，对特征融合卷积网络中所有卷积层的权重进行更新，得到训练好的特征融合卷积网络；(4)对待测试的光学遥感图像进行海陆分离：将从光学遥感影像数据集中选取的包含舰船的光学遥感图像作为待测试的光学遥感图像，并对测试的光学遥感图像进行海陆分离，得到海陆分离结果图R；(5)对待测试的光学遥感图像中的舰船进行检测：(5a)将待测试的光学遥感图像等分为图像块其中，Ii表示第i个图像块，其大小为w×h，表示图像块的总数，W和H分别表示待测试的光学遥感图像的长和宽；(5b)计算Ii在海陆分离结果图R中对应区域内像素的均值vi，并将vi与设定的阈值σ进行比较，若vi＞σ，则Ii包含的是陆地，若vi≤σ，则Ii包含的是水域，并将Ii输入特征融合卷积网络，得到Ii包含舰船的置信度和位置坐标的检测结果；(5c)对Ii检测结果中舰船的位置坐标进行非极大值抑制，得到光学遥感图像中舰船的置信度和位置坐标。本专利技术与现有的技术相比，具有以下优点：1)本专利技术构建的特征融合卷积网络将不同分辨率的特征图进行融合，通过上采样消除相邻特征图分辨率的差异，将融合后的特征作为检测层的输入，增加了小尺寸舰船的特征信息同时充分考虑到了光学遥感图像舰船尺度的多样性，现有的技术相比，有效提高了小尺寸舰船的检测精度。2)本专利技术在获取待测试的光学遥感图像的海陆分离结果时，是通过对待测试的光学遥感图像的阈值分割图像和边缘检测图像进行逻辑或运算，再进行形态学滤波实现的，避免了现有技术中海陆分离需要对光学遥感图像中每个像素点位置进行标记并训练随机森林分类器导致舰船检测速度较慢的缺陷，有效提高了小尺寸舰船检测的速度。附图说明图1是本专利技术的实现流程图；图2是本专利技术构建的特征融合卷积网络的结构示意图；图3是本专利技术采用的特征融合方法示意图。具体实施方式下面结合附图和具体实施例，对本专利技术作进一步详细描述。参照图1，一种基于特征融合卷积网络的光学遥感图像舰船检测方法，包括以下步骤：步骤1)构建特征融合卷积网络：步骤1a)将VGG-16网络中的全连接层和softmax分类层通过设置的m个卷积层替换，m≥1，并将替换后的VGG-16网络作为特征融合卷积网络的主干；新增卷积层数m≥1，增加网络中卷积层数目是为了获取光学遥感图像的更深层的语义信息，但是m的取值不能过大，过多的卷积层会使网络结构过深导致计算量太大；具体实施例中，m＝2，参照图2，特征融合卷积网络结构为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积本文档来自技高网...

【技术保护点】
1.一种基于特征融合卷积网络的光学遥感图像舰船检测方法，其特征在于，包括以下步骤：(1)构建特征融合卷积网络：(1a)将VGG‑16网络中的全连接层和softmax分类层通过设置的m个卷积层替换，m≥1，并将替换后的VGG‑16网络作为特征融合卷积网络的主干；(1b)设定特征融合卷积网络主干的检测层为{D1,D2,…,Di,…,Dn}，n≥2，i＝1,2,…,i,…,n；(1c)按卷积层由浅到深的顺序，从特征融合卷积网络的主干中选择n个卷积层{C1,C2,…,Ci,…,Cn}对应的特征图{T1,T2,…,Ti,…Tn}，并将分辨率最小的特征图Tn作为特征融合卷积网络检测层Dn的输入；(1d)对特征图Tn‑1进行卷积运算，得到特征图T′n‑1，同时对Dn的输入进行上采样，得到与T′n‑1分辨率相等的特征图An；(1e)对T′n‑1与An进行元素加运算，并对元素加运算得到的特征图进行卷积，将卷积结果作为检测层Dn‑1的输入；(1f)按照计算检测层Dn‑1的输入的方式，依次计算Dn‑2,Dn‑3，…，Di+1,Di,…,D1的输入；(1g)将Di中分类子网络的输出和边框回归子网络的输出作为Di的输出；(2)构造训练图像集和训练类标集：(2a)从光学遥感影像数据集中选取p幅包含舰船的光学遥感图像，p≥1，并对每幅图像中舰船的位置边框进行标记；(2b)计算每个舰船位置边框中心位置(x1,y1)的切割基准点的位置坐标(x,y)：x＝x1‑Δx1y＝y1‑Δy1其中，Δx1,Δy1为x1,y1产生的坐标偏移量；(2c)以左上角位置坐标为(x,y)，右下角位置坐标为(x+w,y+h)的矩形框对每幅光学遥感图像进行切割，得到多个大小为w×h的光学遥感图像构成的训练图像集，其中，w,h为特征融合卷积网络输入的长和宽；(2d)记录训练图像集中每幅训练图像里所有舰船的中心点坐标和舰船的长与宽，并将记录的内容保存为与训练图像集对应的训练类标集；(3)对特征融合卷积网络进行训练：将训练图像集和训练类标集输入到特征融合卷积网络中，得到Di上分类子网络的分类损失值和边框回归子网络的边框回归损失值，并采用反向传播算法，对特征融合卷积网络中所有卷积层的权重进行更新，得到训练好的特征融合卷积网络；(4)对待测试的光学遥感图像进行海陆分离：将从光学遥感影像数据集中选取的包含舰船的光学遥感图像作为待测试的光学遥感图像，并对测试的光学遥感图像进行海陆分离，得到海陆分离结果图R；(5)对待测试的光学遥感图像中的舰船进行检测：(5a)将待测试的光学遥感图像等分为图像块...

【技术特征摘要】
1.一种基于特征融合卷积网络的光学遥感图像舰船检测方法，其特征在于，包括以下步骤：(1)构建特征融合卷积网络：(1a)将VGG-16网络中的全连接层和softmax分类层通过设置的m个卷积层替换，m≥1，并将替换后的VGG-16网络作为特征融合卷积网络的主干；(1b)设定特征融合卷积网络主干的检测层为{D1,D2,…,Di,…,Dn}，n≥2，i＝1,2,…,i,…,n；(1c)按卷积层由浅到深的顺序，从特征融合卷积网络的主干中选择n个卷积层{C1,C2,…,Ci,…,Cn}对应的特征图{T1,T2,…,Ti,…Tn}，并将分辨率最小的特征图Tn作为特征融合卷积网络检测层Dn的输入；(1d)对特征图Tn-1进行卷积运算，得到特征图T′n-1，同时对Dn的输入进行上采样，得到与T′n-1分辨率相等的特征图An；(1e)对T′n-1与An进行元素加运算，并对元素加运算得到的特征图进行卷积，将卷积结果作为检测层Dn-1的输入；(1f)按照计算检测层Dn-1的输入的方式，依次计算Dn-2,Dn-3，…，Di+1,Di,…,D1的输入；(1g)将Di中分类子网络的输出和边框回归子网络的输出作为Di的输出；(2)构造训练图像集和训练类标集：(2a)从光学遥感影像数据集中选取p幅包含舰船的光学遥感图像，p≥1，并对每幅图像中舰船的位置边框进行标记；(2b)计算每个舰船位置边框中心位置(x1,y1)的切割基准点的位置坐标(x,y)：x＝x1-Δx1y＝y1-Δy1其中，Δx1,Δy1为x1,y1产生的坐标偏移量；(2c)以左上角位置坐标为(x,y)，右下角位置坐标为(x+w,y+h)的矩形框对每幅光学遥感图像进行切割，得到多个大小为w×h的光学遥感图像构成的训练图像集，其中，w,h为特征融合卷积网络输入的长和宽；(2d)记录训练图像集中每幅训练图像里所有舰船的中心点坐标和舰船的长与宽，并将记录的内容保存为与训练图像集对应的训练类标集；(3)对特征融合卷积网络进行训练：将训练图像...

【专利技术属性】
技术研发人员：马文萍，陈小波，武越，焦李成，杨惠，熊云塔，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61