基于像素重组和注意力的上采样遥感图像目标识别方法技术

本发明专利技术提出了一种基于像素重组和注意力的上采样遥感图像目标识别方法，实现步骤为：(1)获取训练样本和测试样本集；(2)构建基于像素重组和注意力上采样的遥感图像目标识别模型；(3)对遥感图像目标识别模型进行迭代训练；(4)获取遥感图像目标的识别结果。本发明专利技术在对遥感图像目标识别网络模型进行训练的过程中，特征金子塔网络中的基于像素重组和注意力的上采样模块能够根据待上采样特征图中的信息，通过注意力机制生成包含与其余所有位置所携带信息量之间的关系的权重核，随后通过像素重组对该权重核进行处理，使得上采样后的特征图中包含了更多的信息量，提高了目标识别的准确率。率。率。

【技术实现步骤摘要】
基于像素重组和注意力的上采样遥感图像目标识别方法


[0001]本专利技术属于图像处理
，涉及一种目标识别方法，具体涉及一种基于像素重组和注意力上采样的遥感图像目标识别方法，可用于机场、港口、停车场的管理等领域。

技术介绍

[0002]通过将一定时间内地球表面的电磁辐射输出到图像中，遥感图像中像素的大小反映了地球表面光谱能量的特征，而地面物体的光谱特征表现为图像中的纹理特征。相对于通用图像，遥感图像中的目标缺乏细节和纹理信息，此外目标的方向具有任意性，并且目标尺度分布不均匀。
[0003]目标识别需要同时判定图像中物体的类别并输出目标所在位置，是根据不同类别的目标在信息中所反映特征的不同，来对目标进行类别区分。
[0004]对于遥感图像中目标的识别，根据检测原理的不同可以将检测算法分为基于手工设计特征的传统检测算法以及基于深度学习的目标检测算法。传统的目标检测算法通常依赖人工构建的特征，因为没有一种有效的特征提取的手段，早期的算法通常需要研究人员利用专业知识，针对待检测的目标设计不同的特征模板。
[0005]近年来，基于深度学习的遥感图像目标检测方法取得了较大进展，能够避免复杂的特征设计与选择的过程，能够从数据中自动学习出有效特征。例如，Ding J,Xue N,Long Y等在其发表的论文“Learning RoI Transformer for Oriented Object Detection in Aerial Images”(Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2019:2849
‑
2858)中，公开了一种遥感图像目标识别方法，该方法通过全连接层学习水平框到旋转框的变换，进而对遥感图像中的目标进行识别，该方法中使用特征金字塔对图像中不同尺度的目标进行识别，在该特征金字塔的构建过程中，使用了插值上采样对检测网络中的特征图进行上采样，对于待上采样特征图中的某一位置，插值上采样操作在计算的过程中只考虑了其邻域内的信息量，没有考虑特征图空间域内其余位置的信息量，对不同位置特征的贡献度与重要性关注不足，导致上采样后的特征图中信息量不足的问题，限制了目标识别的精度。

技术实现思路

[0006]本专利技术的目的是针对上述现有技术的不足，提出了一种基于像素重组和注意力机制上采样的光学遥感图像识别方法，用于解决现有技术中存在的因对不同位置特征的贡献度与重要性关注不足导致的特征信息缺失的技术问题。
[0007]为实现上述目的，本专利技术采取的技术方案包括如下步骤：
[0008](1)获取训练样本集和测试样本集：
[0009]获取包括K个目标类别的T幅预处理后的遥感图像，并对每幅预处理后的遥感图像中目标的类别标注以及边界进行标注，将T1幅遥感图像及其标签组成训练样本集，将剩余的T2幅遥感图像及其标签组成测试样本集，其中T≥1000，T＝T1+T2，T1＞1/2T，K≥2；
[0010](2)构建基于像素重组和注意力的上采样遥感图像目标识别网络模型：
[0011]构建包括顺次连接的特征提取网络、特征金字塔网络、感兴趣区域提取网络和检测网络，以及区域生成网络的遥感图像目标识别网络模型，区域生成网络的输入、输出分别与特征金字塔网络的输出、感兴趣区域提取网络的输入连接，其中：
[0012]特征提取网络，包括顺次连接的J个block单元，每个block单元包含顺次连接的多个block块，每个block块包括多个第一卷积层和一个残差连接层，J≥3；
[0013]特征金字塔网络，包括与特征提取网络中最后一个block单元连接的第二卷积层，以及与前J
‑
1个block单元分别连接的特征融合块，每个特征融合块包括第三卷积层和一个基于像素重组和注意力机制的上采样模块，以及与第三卷积层和上采样模块的输出相连接的第四卷积层；
[0014]区域生成网络，包括顺次连接的第五卷积层和特征激活层，以及与特征激活层输出并行连接的第一定位子网络和第一分类子网络，第一定位子网络包含顺次连接的第六卷积层和第一全连接层，第一分类子网络包含顺次连接的多个第二全连接层；
[0015]感兴趣区域提取网络，包括顺次连接的水平候选区域特征提取子网络、旋转框生成子网络，以及与特征金字塔网络以及旋转框生成网络的输出连接的旋转候选区域特征提取子网络；
[0016]检测网络，包括并行排布的第二定位子网络和第二分类子网络，第二定位子网络包含顺次连接的第七卷积层和第三全连接层，第二分类子网络包含顺次连接的多个第四全连接层；
[0017](3)对遥感图像目标识别网络模型进行迭代训练：
[0018](3a)初始化迭代次数为t，最大迭代次数为T，T≥10000，并令t＝1；
[0019](3b)将从训练样本集随机选取的b个训练样本作为遥感图像目标识别网络模型的输入进行前向传播，实现步骤为：特征提取网络中顺次连接的block单元对输入样本的特征进行提取，输出每个block单元中最后提取出的特征图集合C；
[0020](3b1)特征金字塔网络中的第二卷积层对C中最后一个特征图的通道数进行降维，对C中其余特征图使用特征融合块进行特征提取，得到与特征图集合C对应的特征图集合P，P中所有特征图的通道数统一；
[0021](3b2)区域生成网络中顺次连接的卷积层对P中每一个特征图进行特征提取并使用特征激活层进行激活，随后经过并行连接的第一定位子网络和第一分类子网络，输出可能包含目标的候选区域集合B；
[0022](3b3)感兴趣区域对候选区域集合B中的每个候选区域，根据其大小将其分配至P的对应特征图，经过水平候选区域特征提取子网络从P中对应特征图中提取出感兴趣区域ρ，随后ρ经过旋转框生成子网络得到对应的旋转候选区域旋转候选区域特征提取子网络通过以及P中对应特征图得到对应旋转感兴趣区域U；
[0023](3b4)检测网络中并行排布的第二定位子网络以及第二分类子网络对U进行特征提取，得到b个训练样本中包含目标的类别置信度以及边界框预测信息。
[0024](3b5)采用SmoothL1函数对目标的预测边界框和目标的边界框位置标签计算目标的位置损失值L1；采用交叉熵函数对目标的预测类别置信度和目标的类别标签计算目标的类别置信度损失值L2，然后采用随机梯度下降法，并通过L1与L2的和对整个遥感图像目标识
别网络中的权重参数θ
t
进行更新；
[0025](3c)判断t＝T是否成立，若是，得到训练好的基于像素重组和注意力上采样的遥感图像目标识别网络模型，否则，令t＝T+1，并执行步骤(3b)；
[0026](4)获取遥感图像目标的识别结果：
[0027](4a)将测试样本集作为训练好的遥感图像目标识别网络的输入，以获取测试样本集所包含目标的类别越预测置信度以及边界框预测信息；...

【技术保护点】

【技术特征摘要】
1.一种基于像素重组和注意力的上采样遥感图像目标识别方法，其特征在于，包括如下步骤：(1)获取训练样本集和测试样本集：获取包括K个目标类别的T幅遥感图像，并对每幅遥感图像进行预处理，然后对每幅预处理后的遥感图像中目标的类别标注以及边界进行标注，将T1幅遥感图像及其标签组成训练样本集，将剩余的T2幅遥感图像及其标签组成测试样本集，其中T≥1000，T＝T1+T2，T1＞1/2T，K≥2；(2)构建基于像素重组和注意力的上采样遥感图像目标识别网络模型：构建包括顺次连接的特征提取网络、特征金字塔网络、感兴趣区域提取网络和检测网络，以及区域生成网络的遥感图像目标识别网络模型，区域生成网络的输入、输出分别与特征金字塔网络的输出、感兴趣区域提取网络的输入连接，其中：特征提取网络，包括顺次连接的J个block单元，每个block单元包含顺次连接的多个block块，每个block块包括多个第一卷积层和一个残差连接层，J≥3；特征金字塔网络，包括与特征提取网络中最后一个block单元连接的第二卷积层，以及与前J
‑
1个block单元分别连接的特征融合块，每个特征融合块包括第三卷积层和一个基于像素重组和注意力机制的上采样模块，以及与第三卷积层和上采样模块的输出相连接的第四卷积层；区域生成网络，包括顺次连接的第五卷积层和特征激活层，以及与特征激活层输出并行连接的第一定位子网络和第一分类子网络，第一定位子网络包含顺次连接的第六卷积层和第一全连接层，第一分类子网络包含顺次连接的多个第二全连接层；感兴趣区域提取网络，包括顺次连接的水平候选区域特征提取子网络、旋转框生成子网络，以及与特征金字塔网络以及旋转框生成网络的输出连接的旋转候选区域特征提取子网络；检测网络，包括并行排布的第二定位子网络和第二分类子网络，第二定位子网络包含顺次连接的第七卷积层和第三全连接层，第二分类子网络包含顺次连接的多个第四全连接层；(3)对遥感图像目标识别网络模型进行迭代训练：(3a)初始化迭代次数为t，最大迭代次数为T，T≥70000，令第t代中识别网络模型的参数为θ
t
，并令t＝1；(3b)将从训练样本集随机选取的b个训练样本作为遥感图像目标识别网络模型的输入进行前向传播，以获取b个训练样本所包含目标的类别预测置信度以及边界框预测信息；(3c)采用SmoothL1函数，通过目标的边界框预测信息以及边界框标注信息计算损失值L1；同时采用交叉熵函数L2，通过目标的类别预测置信度以及类别标注信息计算损失值L2；随后采用随机梯度下降法，并通过L1与L2对整个遥感图像目标识别网络中的权重参数θ
t
进行更新，得到每次迭代的遥感图像目标识别网络模型；(3d)判断t＝T是否成立，若是，得到训练好的遥感图像目标识别网络模型，否则，令t＝t+1，并执行步骤(3b)；(4)获取遥感图像目标识别结果：(4a)将测试样本集作为训练好的遥感图像目标识别网络的输入，以获取测试样本集所
包含目标的类别置信度以及边界框预测信息；(4b)通过旋转目标的非极大值抑制RNMS方法对同一目标重复检测的边界框位置的目标的边界框和类别置信度进行过滤，得到测试样本集所包含的目标的边界框和类别置信度。2.根据权利要求1所述的基于像素重组和注意力的上采样遥感图像目标识别方法，其特征在于，步骤(1)中所述的训练样本集和测试样本集，其获取过程包括如下步骤：(1a)获取包括K个旋转目标类别的N幅大小为Q
×
Q的光学遥感图像H＝{H1,H2,
…
,H
t
,
…
,H
N
}，并通过标注框对每幅光学图像H
i
中的每个目标进行标注，将标注框中心的水平坐标x和垂直坐标y、标注框的长l和宽w、标注框的长边与水平方向的逆时针夹角θ作为H
t
中每个旋转目标的边界框位置标签，将标注框内目标的类别c作为H
t
中每个目标的类别标签，c∈{1,2,...,K}，其中，H
t
表示第t幅光学图像，K表示总的类别数，K≥2；(1b)以l_step为滑动步长，并通过大小为n
×
n的滑窗将每幅遥感图像H
t
裁剪为N'个子图像H
′
t
＝{H
′
t1
,H
′
t2
,
…
,H
′
ts
,
…
,H
′
tN'
}，得到裁剪后的遥感图像集合H'＝{H
′1,H
′2,
…
,H
′
t
,
…
,H
′
T
}，其中，H
′
ts
表示H
t
裁剪得到的第s个保留目标光学子图像；(1c)通过子图像H
′
ts
中目标相对于H
t
中目标的水平偏移量x
diff
和垂直偏...

【专利技术属性】
技术研发人员：丁胜林，冯馨莹，王秋澎，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：