一种基于融合级联注意力机制的遥感小目标检测方法、系统、设备及介质技术方案

一种基于融合级联注意力机制的遥感小目标检测方法、系统、设备及介质，方法为：输入图像进入特征提取网络，获得多尺度融合特征图，放入可旋转区域候选网络，定义新的旋转目标检测方法和自定义损失函数，选出包含目标的候选区域图，对其进行分类预测和边界框回归，得到检测结果；系统、设备及介质，用于实现一种基于融合级联注意力机制的遥感小目标检测方法；本发明专利技术通过提供一种端到端的目标检测网络，将多尺度注意力模块MAM与融合级联注意力模块FCAM结合，在新的旋转框表示方法上，优化并改进模型的损失函数；具有减少背景噪声对检测结果的影响，增强小目标特征信息，改善正负样本不均衡，提升模型平均检测精度，提高光学遥感目标检测性能的特点。检测性能的特点。检测性能的特点。

【技术实现步骤摘要】
一种基于融合级联注意力机制的遥感小目标检测方法、系统、设备及介质


[0001]本专利技术涉及计算机视觉领域，具体涉及一种基于融合级联注意力机制的遥感小目标检测方法、系统、设备及介质。

技术介绍

[0002]光学遥感技术是指利用卫星、飞机、无人机等设备通过光学遥感传感器对地面进行大范围观测的一种技术，利用此技术能够高效的观测大范围的地面目标与资源。近些年来随着遥感成像技术的不断提高，遥感图像的分辨率与成像质量也不断上升，许多带有高质量标注的光学遥感图像数据开始出现，为遥感图像的目标检测，以及具体到目标子类别的细粒度识别技术提供了强有力的数据支撑。
[0003]遥感目标检测技术是遥感图像处理方面的一个基础性的任务，其目标是在遥感图像中寻找需要关注的目标，获取其在整个图像中的空间位置并做基本的分类识别。随着遥感技术的发展，在自然场景下应用广泛的细粒度识别技术，开始在遥感领域内取得突破。与粗粒度的识别技术相比，细粒度识别技术能够大幅度扩展遥感技术的应用范围。
[0004]现有的遥感目标检测方法有：
[0005](1)光学遥感图像中的目标检测方法
[0006]遥感目标检测是通用的目标检测技术的一个分支，由于其独有的高空俯瞰视角，导致面向遥感图像的目标检测技术需要克服更多的难题。通常的基于Faster RCNN的两阶段目标检测器的步骤为：首先通过卷积网络提取特征，通过区域建议网络RPN生成候选区域，再根据特征对候选区域进行分类和回归。但将该类方法应用到光学遥感图像中，无法适应遥感图像中朝向各异的旋转目标，需要额外的方法来编码锚框的方向信息；同时，遥感图像中存在大量的密集小目标，准确的检测该类目标也是难点之一。
[0007](2)旋转目标检测
[0008]为了适应各种方向的遥感目标，RRPN将旋转的锚框引入到FasterRCNN中，该算法起初是应用于文本检测当中，但在遥感目标检测领域也有着不错的效果。其改进了锚框的表达方式，在原有的锚框参数(x，y，w，h)上，添加了旋转角度θ。其中x，y为锚框的中心点坐标，w,h为锚框的宽和高，θ为锚框与x轴正方向的夹角。由于此方法预置了6种旋转角度的参数，使得锚框的总参数量扩大了6倍，极大的增加了计算量，并且，此方法设置的锚框过多，过于冗余，造成了大量的资源浪费。
[0009]针对RRPN中锚框数量冗余的问题，又设计一个自学习的特征提取模块，通过旋转敏感的RoIAlign将有方向的旋转不变的特征区域映射到水平特征区域，将其送入到最后的分类器中；此方法通过网络去学习旋转角度，不需要额外设置多种方向的锚框，解决了锚框冗余的问题，但是其网络本身的参数量也较大，同样有很大的计算量。
[0010](3)旋转目标的特征对齐方法
[0011]RefineDet网络通过由粗到细的方式来回归边界框，使得特征与候选框定位更加
精准，即先通过RPN网络得到粗粒度的锚框信息，然后再通过回归支路得到更加精确的边界框。但是RefineDet两次回归得到的锚框不够精准，其用于回归的特征都是与感兴趣区域不对齐的特征。AlignDet方法的第一步先对初始的锚框进行回归得到学习锚框(learned anchor)，此时的锚框已经比较接近真实的候选框了；第二步，AlignDet采用了可变性卷积在卷积核加上此位置给定的偏移量，将卷积核映射到对齐后的位置上，使用对齐的特征回归最后的锚框位置，该方法提取的对象特征不够精准，无法反映物体具体的细节特征。
[0012]名称为“一种基于FPN与PAN网络的双重注意力的遥感小目标检测方法”，公开号为「CN114821341A」的专利技术，首先对FPN网络中的顶层特征图进行池化得到通道向量，再将通道向量进行矩阵运算后得到通道注意力矩阵，接着将其归一化得到通道权重矩阵，并将该权重乘到特征图中得到带有通道权重的特征图，再与低层特征融合，在PAN网络中首先对底层特征图进行通道压缩得到空间向量，再将空间向量进行矩阵运算后得到空间注意力矩阵，接着将其归一化得到空间权重矩阵，并将该权重乘到特征图中得到带有空间权重的特征图，再与高层特征融合，最后送往检测头生成检测结果；该种方法由于采用了FPN与PAN双重结构的注意力机制，虽然在精度上有所上升，但是复杂的结构使得该方法具有计算量较大与模型结构臃肿的缺点。

技术实现思路

[0013]为了克服上述现有技术的缺点，本专利技术的目的在于提供一种基于融合级联注意力机制的遥感小目标检测方法、系统、设备及介质，通过提供一种端到端的目标检测网络，将多尺度注意力模块MAM与融合级联注意力模块FCAM相结合，在新的旋转框的表示方法上，优化并改进了模型的损失函数，具有较少背景噪声对检测结果的影响，增强小目标的特征信息，改善各类小目标的检测精度，改善了正负样本不均衡问题，提升模型的平均检测精度，提高光学遥感目标检测性能的特点。
[0014]一种基于融合级联注意力机制的遥感小目标检测方法，包括以下步骤：
[0015]步骤1：输入图像进入特征提取网络，获得通道注意力机制与多尺度融合的多尺度融合特征图；
[0016]步骤2：将经过步骤1得到的通道注意力机制与多尺度融合的多尺度融合特征图，放入可旋转的区域候选网络中，针对候选网络定义新的旋转目标的检测方法和自定义损失函数，通过区域候选网络选取出包含目标的候选区域图；
[0017]步骤3：将经过步骤2得到的候选区域图进行分类预测和边界框回归，得到基于融合级联注意力机制的遥感小目标检测结果。
[0018]所述步骤1的特征提取网络是以Resnet
‑
50为骨干网络，经过优化后，得到多尺度注意力模块MAM和融合级联注意力模块FCAM；所述步骤1获得通道注意力机制与多尺度融合的多尺度融合特征图具体过程为：
[0019]步骤1.1：输入图像到特征提取网络的骨干网络Resnet
‑
50进行6层卷积操作，提取到第3、4层卷积操作后的特征图；
[0020]步骤1.2：根据步骤1.1提取到的第3、4层卷积操作后的特征图一起送入融合级联注意力模块FCAM，得到带有融合多尺度特性的特征图；
[0021]步骤1.3：根据步骤1.2得到的带有融合多尺度特性的特征图，与经过骨干网络4层
卷积操作后得到的特征图通过逐元素相加的操作，得到多尺度融合特征图；
[0022]步骤1.4：输出步骤1.2中的带有融合多尺度特性的特征图、步骤1.3中多尺度融合特征图以及骨干网络6层卷积操作后的特征图，将上述特征图并行输出，得到多尺度融合特征图。
[0023]所述步骤1.2中融合级联注意力模块FCAM的构建过程具体为：
[0024]步骤1.2.1：通过一个带孔洞的反卷积的操作，对骨干网络第4层进行卷积操作，输出特征图；
[0025]步骤1.2.2：将骨干网络第3层卷积操作输出后的特征图输入多尺度注意力模块MAM1，得到特征图2，将经过步骤1.2.1得到特征图1与特征图2，用逐元素相加的方式进行融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于融合级联注意力机制的遥感小目标检测方法，其特征在于，包括以下步骤：步骤1：输入图像进入特征提取网络，获得通道注意力机制与多尺度融合的多尺度融合特征图；步骤2：将经过步骤1得到的通道注意力机制与多尺度融合的多尺度融合特征图，放入可旋转的区域候选网络中，针对候选网络定义新的旋转目标的检测方法和自定义损失函数，通过区域候选网络选取出包含目标的候选区域图；步骤3：将经过步骤2得到的候选区域图进行分类预测和边界框回归，得到基于融合级联注意力机制的遥感小目标检测结果。2.根据权利要求1所述的一种基于融合级联注意力机制的遥感小目标检测方法，其特征在于，所述步骤1的特征提取网络是以Resnet
‑
50为骨干网络，经过优化后，得到多尺度注意力模块MAM和融合级联注意力模块FCAM；所述步骤1获得通道注意力机制与多尺度融合的多尺度融合特征图具体过程为：步骤1.1：输入图像到特征提取网络的骨干网络Resnet
‑
50进行6层卷积操作，提取到第3、4层卷积操作后的特征图；步骤1.2：根据步骤1.1提取到的第3、4层卷积操作后的特征图一起送入融合级联注意力模块FCAM，得到带有融合多尺度特性的特征图；步骤1.3：根据步骤1.2得到的带有融合多尺度特性的特征图，与经过骨干网络4层卷积操作后得到的特征图通过逐元素相加的操作，得到多尺度融合特征图；步骤1.4：输出步骤1.2中的带有融合多尺度特性的特征图、步骤1.3中多尺度融合特征图以及骨干网络6层卷积操作后的特征图，将上述特征图并行输出，得到多尺度融合特征图。3.根据权利要求2所述的一种基于融合级联注意力机制的遥感小目标检测方法，其特征在于，所述步骤1.2中融合级联注意力模块FCAM的构建过程具体为：步骤1.2.1：通过一个带孔洞的反卷积的操作，对骨干网络第4层进行卷积操作，输出特征图；步骤1.2.2：将骨干网络第3层卷积操作输出后的特征图输入多尺度注意力模块MAM1，得到特征图2，将经过步骤1.2.1得到特征图1与特征图2，用逐元素相加的方式进行融合，得到融合后的特征图，送入到多尺度注意力模块MAM2，得到结合了注意力机制与多尺度融合的多尺度融合特征图。4.根据权利要求3所述的一种基于融合级联注意力机制的遥感小目标检测方法，其特征在于，所述的多尺度注意力模块MAM1或MAM2，是将通道注意力机制同改进的Inception结构相结合，并行引入了带有跳跃链接的空间注意力模块；所述步骤1.2.2中的多尺度注意力模块MAM1或MAM2的具体构建过程为：步骤1.2.2.1：输入特征图，对特征图采用1
×
1卷积压缩输入特征的维度，得到输出通道数减少的特征图；步骤1.2.2.2：对步骤1.2.2.1输出的特征图利用1
×
1卷积、3
×
1卷积组合1
×
3卷积、5
×
1卷积组合1
×
5卷积，这三路卷积操作获取不同尺度的特征；步骤1.2.2.3：对步骤1.2.2.2输出的3路不同尺度的特征，分别连接3
×
3的空洞卷积，输出2～10倍感受野的特征；
步骤1.2.2.4：通过concat的方式将步骤1.2.2.3中输出的三路不同尺度的特征进行拼接，并再次通过1
×
1卷积调整维度，得到多尺度融合特征；步骤1.2.2.5：将步骤1.2.2.4输出的多尺度融合特征与通道注意力机制分支输出的通道注意力特征图进行通道相加的操作，输出中间层的特征图；步骤1.2.2.6：将步骤1.2.2.5中的中间层的特征图进行空间注意力的操作，最终输出多尺度注意力特征图。5.根据权利要求4所述的一种基于融合级联注意力机制的遥感小目标检测方法，其特征在于，所述步骤1.2.2.5中的通道注意力机制...

【专利技术属性】
技术研发人员：纪建，杨勇，曾璞，罗迈，徐贺凯，康宇翰，苗启广，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：