一种基于自监督机制的遥感图像细粒度目标识别方法技术

本发明专利技术公开了一种基于自监督机制的遥感图像细粒度目标识别方法，将所述融合卫星遥感图像输入目标检测卷积神经网络以获得目标位置，根据目标位置从所述融合卫星遥感图像截取目标图像截图，输入语义分割卷积神经网络以获得所述目标图像截图的语义分割结果，最后根据所述语义分割结果对所述目标图像截图进行图像滤波，并将滤波后的图像输入细粒度目标识别网络模型进行目标细粒度识别获得遥感图像目标识别结果。本发明专利技术解决了细粒度遥感图像检测和识别中标注样本监督信息不充足、领域知识不匹配问题，提高了识别准确度。提高了识别准确度。提高了识别准确度。

【技术实现步骤摘要】
一种基于自监督机制的遥感图像细粒度目标识别方法


[0001]本申请属于目标识别
，特别涉及一种基于自监督机制的遥感图像细粒度目标识别方法。

技术介绍

[0002]遥感图像的目标检测和识别是遥感情报侦察中最为基础的研究课题之一，两者可视作遥感图像分析中的两项基本问题。在传统遥感图像的目标检测中，分析的目标对象隶属类别通常是如“飞机”、“建筑”和“河流”等传统意义上的类别分类。该情形下，不同类图像间的差异较大，同类图像间的差异则较小。
[0003]但细粒度图像分析处理的对象则是传统类别下的子类别，如“飞机”类别中的不同军用和民用飞机的型号，因细粒度级别子类别间较小的类间差异，使其区别于传统遥感图像的目标检测问题，从而更具挑战性。因此，解决细粒度目标遥感图像目标的检测和识别问题具有重要意义。

技术实现思路

[0004]本申请的目的是提供一种基于自监督机制的遥感图像细粒度目标识别方法，用于解决通用目标检测识别算法中对于传统类别下的子类别(如飞机类别下的具体不同型号飞机类别)识别准确度低的问题。
[0005]为了实现上述目的，本申请技术方案如下：
[0006]一种基于自监督机制的遥感图像细粒度目标识别方法，包括：
[0007]获取高光谱卫星遥感图像并按照预设规则对所述高光谱卫星遥感图像进行切割获得切割后的高光谱卫星遥感图像；
[0008]对切割后的高光谱卫星遥感图像进行预处理，而后根据不同的波段获得可见光卫星遥感图像以及对应的红外成像卫星遥感图像，并对所述可见光卫星遥感图像以及对应的红外成像卫星遥感图像进行图像融合以得到融合卫星遥感图像；
[0009]将所述融合卫星遥感图像输入目标检测卷积神经网络以获得目标位置；
[0010]根据所述目标位置从所述融合卫星遥感图像截取目标图像截图，输入语义分割卷积神经网络以获得所述目标图像截图的语义分割结果；
[0011]根据所述语义分割结果对所述目标图像截图进行图像滤波，并将滤波后的图像输入细粒度目标识别网络模型进行目标细粒度识别获得遥感图像目标识别结果。
[0012]进一步的，对所述可见光卫星遥感图像以及对应的红外成像卫星遥感图像进行图像融合以得到融合卫星遥感图像，包括：
[0013]融合采用如下公式：
[0014]I
s
＝λ
a
I
a
+λ
b
I
b
[0015]其中，I
s
为所述融合卫星遥感图像，I
a
为所述可见光卫星遥感图像，I
b
为所述红外成像卫星遥感图像，“+”表示所述可见光卫星遥感图像和所述红外成像卫星遥感图像相对
应位置处的元素相加，λ
a
和λ
b
表示可见光卫星遥感图像和所述红外成像卫星遥感图像的权重。
[0016]进一步的，0<λ
b
+0.5<λ
a
<1.0。
[0017]进一步的，所述目标检测卷积神经网络采用改进的YOLOv3网络，包括特征提取网络层、特征融合层以及检测输出层，其中：
[0018]在特征提取网络层Darknet
‑
53中加入两组HRFB结构以及对应的两组空间注意力结构；
[0019]所述HRFB结构包括输入层、卷积层和拼接层，所述卷积层包括三个支路，第一支路包括一个1*1的卷积结构，第二支路包括一个1*1的卷积结构和两个3*3的卷积结构，第三支路包括一个1*1的卷积结构和一个3*3 的卷积结构，其中3*3的卷积结构的间隔率均为1；
[0020]所述空间注意力结构包括池化核分别为3、5、7的三个最大池化层，所述三个最大池化层的输出经过拼接后在输入到一个卷积层，最后经过激活函数输出空间注意力特征。
[0021]进一步的，所述根据所述语义分割结果对所述目标图像截图进行图像滤波，包括：
[0022]滤波采用公式：
[0023]F
s
＝F
b
·
F
[0024]其中，F
s
为滤波后的图像，F
b
为所述语义分割结果的二值化图像，其中有目标的位置像素值为1，其余为背景位置像素值为0；F为所述目标图像截图，“·”表示所述二值化图像和所述目标图像截图相对应位置处的元素相乘。
[0025]进一步的，所述细粒度目标识别网络模型包括第一网络结构和第二网络结构，其中：
[0026]所述第一网络结构用于预测图像中每个预选区域的信息量，并根据信息量推荐预定数量的图像区域作为特征提取的候选区域，所述信息量用于表征所述预选区域的目标特征显著程度；
[0027]所述第二网络结构将第一网络结构获得的候选区域缩放至相同大小并通过卷积网络结构进行特征提取和特征融合以获得图像的联合特征向量，将所述联合特征向量输入支持向量机以获得目标细粒度识别结果。。
[0028]进一步的，所述使用第一网络结构用于预测图像中每个预选区域的信息量，并根据信息量推荐预定数量的图像区域作为特征提取的候选区域的方法，包括：
[0029]根据输入图像，随机产生N个矩形区域{R1，R2，
…
，R
N
}，其中，所述矩形区域具有m种不同的分辨率和m种不同的长宽比率；
[0030]将所述N个矩形区域通过所述第一网络结构进行信息量提取得到信息量列表{I1，I2，
…
，I
N
}；
[0031]对所述信息量列表从大到小进行排序，选取信息量列表前M个信息量对应的矩形区域作为特征提取的候选区域。
[0032]本申请提出的一种基于自监督机制的遥感图像细粒度目标识别方法，分阶段进行目标检测和类别细粒度分类，对遥感图像进行检测再进行细粒度识别，对两种方法的结果进行融合。首先采用图像融合方法以及图像分割方法实现目标细节的增强和背景干扰的消除突出目标特征的显著性，再基于部件信息构建对应的局部部件子空间，最终在各自子空间进行知识迁移，从而解决细粒度遥感图像检测和识别中标注样本监督信息不充足、领域
知识不匹配问题，提高了识别准确度。
附图说明
[0033]图1为本申请一种基于自监督机制的遥感图像细粒度目标识别方法流程图；
[0034]图2为本申请网络结构示意图；
[0035]图3为本申请目标检测卷积神经网络结构示意图；
[0036]图4为现有技术RFB结构示意图；
[0037]图5为本申请实施例HRFB结构示意图；
[0038]图6为现有技术空间注意力结构示意图；
[0039]图7为本申请实施例空间注意力结构示意图。
具体实施方式
[0040]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督机制的遥感图像细粒度目标识别方法，其特征在于，所述的基于自监督机制的遥感图像细粒度目标识别方法，包括：获取高光谱卫星遥感图像并按照预设规则对所述高光谱卫星遥感图像进行切割获得切割后的高光谱卫星遥感图像；对切割后的高光谱卫星遥感图像进行预处理，而后根据不同的波段获得可见光卫星遥感图像以及对应的红外成像卫星遥感图像，并对所述可见光卫星遥感图像以及对应的红外成像卫星遥感图像进行图像融合以得到融合卫星遥感图像；将所述融合卫星遥感图像输入目标检测卷积神经网络以获得目标位置；根据所述目标位置从所述融合卫星遥感图像截取目标图像截图，输入语义分割卷积神经网络以获得所述目标图像截图的语义分割结果；根据所述语义分割结果对所述目标图像截图进行图像滤波，并将滤波后的图像输入细粒度目标识别网络模型进行目标细粒度识别获得遥感图像目标识别结果。2.如权利要求1所述的基于自监督机制的遥感图像细粒度目标识别方法，其特征在于，对所述可见光卫星遥感图像以及对应的红外成像卫星遥感图像进行图像融合以得到融合卫星遥感图像，包括：融合采用如下公式：I
s
＝λ
a
I
a
+λ
b
I
b
其中，I
s
为所述融合卫星遥感图像，I
a
为所述可见光卫星遥感图像，I
b
为所述红外成像卫星遥感图像，“+”表示所述可见光卫星遥感图像和所述红外成像卫星遥感图像相对应位置处的元素相加，λ
a
和λ
b
表示可见光卫星遥感图像和所述红外成像卫星遥感图像的权重。3.如权利要求2所述的基于自监督机制的遥感图像细粒度目标识别方法，其特征在于，0＜λ
b
+0.5＜λ
a
＜1.0。4.如权利要求1所述的基于自监督机制的遥感图像细粒度目标识别方法，其特征在于，所述目标检测卷积神经网络采用改进的YOLOv3网络，包括特征提取网络层、特征融合层以及检测输出层，其中：在特征提取网络层Darknet
‑
53中加入两组HRFB结构以及对应的两组空间注意力结构；所述HRFB结构包括输...

【专利技术属性】
技术研发人员：陈初杰，瞿崇晓，张永晋，祝中科，张建楠，杜鑫，范长军，
申请(专利权)人：中国电子科技集团公司第五十二研究所，
类型：发明
国别省市：