一种遥感图像目标检测方法、系统、设备以及存储介质技术方案

本发明专利技术属于图像处理中目标检测领域，具体是一种遥感图像目标检测方法，对遥感图像数据进行预处理，做常规的数据增广；采用ResNet残差网络提取多尺度的特征图，根据目标特点采用跨通道信息融合的方式，将多尺度的特征进行融合，增强特征的语义信息以及特征的丰富性得到融合以后的多尺度特征图；在融合后的特征图上引入一种注意力机制，生成概率显著特征图，弱化遥感图像中冗余的背景信息，增强目标的显著性；将第一次回归之后的检测框各个关键点位置信息引入，重新构建带有位置信息的特征图，进行最终的多类别分类和定位预测。本发明专利技术优势在于从遥感图像的目标特点出发，能够处理遥感图像中目标尺寸比较小、背景信息复杂以及定位不够准确的情况。够准确的情况。够准确的情况。

【技术实现步骤摘要】
一种遥感图像目标检测方法、系统、设备以及存储介质


[0001]本专利技术实施例涉及图像处理
，具体是一种遥感图像目标检测方法、系统、设备以及存储介质。

技术介绍

[0002]在图像处理技术中，随着深度学习的不断发展，将卷积神经网络方法应用在图像处理中取得了很好的效果。目标检测任务是深度学习这一领域非常重要的一部分，将其应用在遥感图像上，对于海域监测、城市规划、资源调查、监控海运交通、水域监管、保护领土安全等都有非常重要的意义。
[0003]目标检测的主要任务是对图像中出现的目标物体进行分类和定位，检测方法主要分为两大类：Anchor
‑
based和Anchor
‑
free。
[0004]其中，Anchor
‑
based的方法分为两种，一种是两步检测法，另外一种是单步检测法。两步检测法需要先将图像输入进卷积神经网络去提取相应的特征得到特征图，然后利用一个小的RPN网络去预设先验框Anchor，对先验框Anchor进行目标与背景的二分类以及粗略的位置调整，将微调后的框与特征图送入后续的网络提取框内部的特征向量，进行多类别的分类和位置调整，通过对网络的不断训练降低损失，得到最终的检测结果。两步检测法有两次的位置调整过程，对于目标的定位比较准确，但是非常的耗时、速度不够快。单步检测法是同样预设先验框，但只有一次的位置调整过程，虽然检测的速度比较快，但是精度较低，定位不够准确。
[0005]另外，Anchor
‑
free的方法是不需要预设先验框Anchor，直接检测图像中目标的关键点，通过关键点之间的匹配即可以定位目标位置，并判断目标的类别，如2018年Hei Law、Jia Deng等人在ECCV上发表的
‘
CornerNet:Detecting Objects as Paired Keypoints
’
文章，检测属于目标左上角点和右下角点的概率，通过一定的匹配机制对角点进行匹配得到检测框的位置；2019年，Kaiwen Duan、Song Bai、Lingxi Xie等人在CVPR上发表的
‘
CenterNet:Keypoint Triplets for Object Detection
’
，除了检测目标的左上角点和右下角点，还增加了中心点检测，进一步提升了检测的精度。关键点检测的方法没有先验框的预设，因此减少了一些超参数的配置，同时也缓解了引入先验框Anchor所造成的正负样本不均衡的问题，但检测效果还需要进一步的提高。
[0006]尽管目标检测技术在自然场景图像中已经取得了不错的成果，但是将其直接应用在遥感图像上会存在一定的问题，这些问题是由于自然场景图像与遥感图像中目标特点不一致所造成的。首先，遥感图像的拍摄视角是从上至下的俯视角度，图像的分辨率一般较大，一些类别的目标如车辆，在图像中的比例较小，这就对检测造成了一定的难度；其次，部分目标如船舶，可能会密集排列在一起，会极大影响检测的精度；另外，遥感图像的背景信息比较复杂，图像中存在许多不重要的冗余信息，在检测过程中网络会对冗余信息产生不必要的响应，从而弱化了重要的、感兴趣的区域信息；最后，遥感图像中的目标一般是方向多变的，不能只依赖于普通的水平框检测，需要根据目标的方向多变性采用旋转框检测的
方法来定位目标。

技术实现思路

[0007]本专利技术实施例的目的在于提供一种遥感图像目标检测方法、系统、设备以及存储介质，以解决上述
技术介绍
中提出的问题。
[0008]为实现上述目的，本专利技术实施例提供如下技术方案：
[0009]一种遥感图像目标检测方法，所述方法包括以下步骤：
[0010]将待处理图像输入进残差网络，提取4种不同尺度的特征图；低尺度的特征上采样至上一层特征图的尺寸大小，其与上一层特征图均按照通道平分成两份，每一份分别进行逐像素相加融合，融合后的特征图再按照通道拼接起来，送入后续网络；得到4个不同尺度融合特征，在每个尺寸上分别进行分类和定位；
[0011]融合后的特征图输入进注意力机制模块，通过卷积操作，得到概率显著特征图，将其与原始融合特征图每个通道的特征逐像素相乘，得到目标显著的特征；
[0012]在每个不同尺寸的目标显著特征图上预设不同尺寸的先验框；对先验框做二分类和回归，定位回归得到微调的检测框；在第二次分类和回归之前，对微调的检测框内的信息进行调整，通过双线性插值的方式融合周围的位置特征信息，引入至新的特征图；
[0013]将新的特征图以及微调后的检测框坐标结合起来，进行多类别分类和第二次回归，得到最终的预测框。
[0014]作为本专利技术实施例技术方案的进一步限定，在所述将图像输入进ResNet网络提取4个不同尺寸的特征图的步骤之前，所述方法还包括：
[0015]对待处理图像进行预处理，所述预处理的方式包括翻转、平移、颜色变换以及Mixup中的至少一种。
[0016]作为本专利技术实施例技术方案的进一步限定，所述与上一层特征图均按照通道平分成两份，每一份分别进行逐像素相加融合的步骤具体包括：
[0017]将不同尺寸的特征图均按照通道均分成两部分；
[0018]浅层特征的前半部分通道信息与深层特征的前半部分通道信息通过逐像素相加的方式进行融合；
[0019]浅层特征的后半部分通道信息与深层特征的后半部分通道信息通过逐像素相加的方式进行融合；
[0020]将上述融合后的两个特征图按照通道拼接的方式得到最终用于识别和定位的融合特征图。
[0021]作为本专利技术实施例技术方案的进一步限定，所述通过卷积操作，得到概率显著特征图的具体步骤包括：
[0022]采用两种不同尺寸的卷积核分别对特征图进行进一步的特征提取，得到感受野大小不同的特征图，将其按通道组合在一起；
[0023]通过1x1卷积得到两通道的概率显著特征图，采用公式如下：
[0024]F
prob
＝Conv1×1(concat[Conv3×3(F)，Conv5×5(F)])
[0025]其中，F是中融合后的特征图，F
prob
是概率显著特征图，Conv(
·
)代表卷积操作，下标表示该卷积操作的卷积核尺寸，concat[
·
]表示按照通道拼接操作。
[0026]作为本专利技术实施例技术方案的进一步限定，所述将其与原始融合特征图每个通道的特征逐像素相乘，得到目标显著的特征的步骤具体包括：
[0027]取出前景概率对应的通道，此概率值与原始特征图按像素相乘，非目标点经过概率乘积之后像素值降低，目标点经过概率乘积之后像素值提升，使得目标的边界相较于之前更加清晰，从而达到弱化复杂背景信息的作用；采用公式如下：
[0028]F
prob
＝Conv1×1(concat[Conv3×3(F)，Conv5×5(F)]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遥感图像目标检测方法，其特征在于，所述方法包括以下步骤：将待处理图像输入进残差网络，提取4种不同尺度的特征图；低尺度的特征上采样至上一层特征图的尺寸大小，其与上一层特征图均按照通道平分成两份，每一份分别进行逐像素相加融合，融合后的特征图再按照通道拼接起来，送入后续网络；得到4个不同尺度融合特征，在每个尺寸上分别进行分类和定位；融合后的特征图输入进注意力机制模块，通过卷积操作，得到概率显著特征图，将其与原始融合特征图每个通道的特征逐像素相乘，得到目标显著的特征；在每个不同尺寸的目标显著特征图上预设不同尺寸的先验框；对先验框做二分类和回归，定位回归得到微调的检测框；在第二次分类和回归之前，对微调的检测框内的信息进行调整，通过双线性插值的方式融合周围的位置特征信息，引入至新的特征图；将新的特征图以及微调后的检测框坐标结合起来，进行多类别分类和第二次回归，得到最终的预测框。2.根据权利要求1所述的遥感图像目标检测方法，其特征在于，在所述将待处理图像输入进ResNet网络提取4个不同尺寸的特征图的步骤之前，所述方法还包括：对待处理图像进行预处理，所述预处理的方式包括翻转、平移、颜色变换以及Mixup中的至少一种。3.根据权利要求2所述的遥感图像目标检测方法，其特征在于，所述与上一层特征图均按照通道平分成两份，每一份分别进行逐像素相加融合的步骤具体包括：将不同尺寸的特征图均按照通道均分成两部分；浅层特征的前半部分通道信息与深层特征的前半部分通道信息通过逐像素相加的方式进行融合；浅层特征的后半部分通道信息与深层特征的后半部分通道信息通过逐像素相加的方式进行融合；将上述融合后的两个特征图按照通道拼接的方式得到最终用于识别和定位的融合特征图。4.根据权利要求1
‑
3任一所述的遥感图像目标检测方法，其特征在于，采用两种不同尺寸的卷积核分别对特征图进行进一步的特征提取，得到感受野大小不同的特征图，将其按通道组合在一起；通过1x1卷积得到两通道的概率显著特征图，采用公式如下：F
prob
＝Conv1×1(concat[Conv3×3(F)，Conv5×5(F)])其中，F是中融合后的特征图，F
prob
是概率显著特征图，Conv(
·
)代表卷积操作，下标表示该卷积操作的卷积核尺寸，concat[
·
]表示按照通道拼接操作。5.根据权利要求4所述的遥感图像目标检测方法，其特征在于，所述将其与原始融合特征图每个通道的特征逐像素相乘，得到目标显著的特征的步骤具体包括：取出前景概率对应的通道，此概率值与原始特征图按像素相乘，非目标点经过概率乘积之后像素值降低，目标点经过概率乘积之后像素值提升，使得目标的边界相较于之前更加清晰，从而达到弱化复杂背景信息的作用；采用公式如下：F
prob
＝Conv1×1(conCat[Conv3×3(F)，Conv5×5(F)])其中，F
′
是概率显著特征图与融合后特征图的对应位置像素相乘之后的结果；H是特征
图的高，W是特征图的宽。6.根据权利要求5所述的遥感图像目标检测方法，其特征在于，所述通过双线性插值的方式融合周围的位置特征信息的步骤包括：采用双线性差值的方法对检测框的五个主要特征点重新计算，五个特征点即检测框的四个角点和中心点，采用公式如下：f(x，y)＝f(x1，y1)
×
...

【专利技术属性】
技术研发人员：颜蕾，卢湖川，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：