一种基于形变注意金字塔的遥感舰船目标检测方法技术

一种基于形变注意金字塔的遥感舰船目标检测方法，属于遥感检测技术领域。分别是：形变注意金字塔网络、多尺度特征增强网络、多尺度自适应池化网络和旋转预测网络。被检测图像依次经过上述子网络，逐步实现特征提取、特征增强、生成感兴趣区域和标记舰船。优点：形变注意金字塔网络从多个尺度抑制了遥感图像的背景噪声，降低了模型受不相关特征的干扰。多尺度特征增强网络使用并行的拉普拉斯卷积核和空洞卷积核实现对弱小目标特征的锐化，增强了模型对小目标舰船的特征描述。多尺度自适应池化网络使用多尺度自适应池化策略获取到了更为精准的检测感兴趣区域。旋转预测网络基于回归策略生成旋转预测框，用于精准地标记任意方向的舰船。的舰船。的舰船。

【技术实现步骤摘要】
一种基于形变注意金字塔的遥感舰船目标检测方法


[0001]本专利技术属于遥感检测
，特别是一种基于形变注意金字塔的遥感舰船目标检测方法。

技术介绍

[0002]舰船的自动化检测在海上交通管理，海上救援，以及国防安全应用中具有重要的意义和价值。近年来，随着遥感技术的快速发展，研究人员能够以合理的成本从星载或机载传感器中获取高质量的光学遥感图像。因此，光学遥感图像成为舰船检测的主流图像来源。这使得基于光学遥感图像的舰船目标检测技术成为一个研究热点。
[0003]目前有关于遥感图像的舰船检测方法主要分为两大类：传统检测方法和基于深度学习的舰船检测方法。在深度学习的舰船检测方法出现之前，许多研究人员将机器学习技术应用到舰船检测领域。但由于遥感图像中的舰船受光照、云层以及大气中的颗粒等背景噪声的影响，且舰船本身通常存在目标小、任意指向、拥挤排列的特点。因此，传统方法往往很难对各种成像条件下的舰船特征进行准确概括。导致传统检测方法的准确率较低，并缺乏泛化能力。
[0004]随着卷积神经网络的广泛应用，其凭借着出众的特征提取能力在目标检测领域中表现出强大的性能。诞生了许多基于深度学习的舰船检测方法，但大多数方法使用水平边界框检测舰船，导致检测结果存在较多冗余信息，且无法进行多尺度舰船检测。随后一些学者提出了一种旋转Libra R
‑
CNN方法。该方法的思想是平衡神经网络的三个层次，首先，使用平衡金字塔提取多尺度舰船特征；然后，使用交并比平衡采样生成区域建议；最后，在旋转分支中引入balanced L1 Loss，大幅提升了拥挤场景下的舰船检测性能。但该方法仍受背景噪声的干扰，且对小目标舰船存在较高的漏检率。如何最大程度地提取大纵横比、拥挤场景下任意形状尺寸、任意方向的舰船特征并有效地抑制背景噪声是目前存在的问题。

技术实现思路

[0005]针对上述存在的问题或不足，本专利技术提供一种基于形变注意金字塔的遥感舰船目标检测方法，解决光学遥感图像中的舰船受背景噪声的干扰，且舰船通常存在目标小、大纵横比、排列拥挤以及任意方向特点导致现存的目标检测方法无法精准检测舰船的问题。
[0006]本专利技术的目的是这样实现的：遥感舰船目标检测方法包括：以下四个子网络，分别是：形变注意金字塔网络、多尺度特征增强网络、多尺度自适应池化网络和旋转预测网络；被检测图像依次经过上述子网络，逐步实现特征提取、特征增强、生成感兴趣区域和标记舰船；
[0007]首先，在形变注意金字塔网络中集成舰船形变卷积单元和舰船注意模块，以充分提取任意方向舰船的特征；
[0008]舰船形变卷积单元能够使原本固定位置的卷积采样点分布于舰船内部；舰船注意模块能够有效地分配多尺度特征图中不同成分的权重，使模型关注不同尺度的舰船，抑制
多尺度背景噪声。
[0009]再次，在多尺度特征增强网络中采用多尺度特征增强模块对舰船进行特征提取，用以增强不同尺度的舰船特征，使舰船目标特征增强；
[0010]所述的多尺度特征增强模块使用并行的拉普拉斯卷积核和空洞卷积核，通过拉普拉斯卷积核增强了不同尺度特征图中的舰船目标，使网络的检测性能进一步提升；通过空洞卷积核提取小尺度目标的背景信息，有利于提升网络对小目标舰船的检测性能；
[0011]然后，在多尺度自适应池化网络中采用多尺度自适应池化策略，精准地获取大纵横比舰船的感兴趣区域并学习舰船的多尺度上下文信息；
[0012]所述多尺度自适应池化策略基于双线性插值方法，能够根据区域建议自适应地获取横向和纵向采样点，使得模型对舰船目标的采样更均匀，以获取更有效的舰船特征描述，并在一定程度上实现对临近未知目标的推理。
[0013]最后，旋转预测网络通过五参数回归和前后景分类生成基于舰船目标的RBB用于精准地标记任意方向的舰船。
[0014]具体步骤如下：
[0015]步骤S1、将需要检测的图像输入形变注意金字塔网络处理，该网络使用舰船形变卷积单元作为基础的特征提取模块，并使用舰船注意模块抑制背景噪声；
[0016]步骤S2、将经形变注意金字塔网络处理后的多尺度特征图输入至多尺度特征增强网络，并使用其中的多尺度特征增强模块对其进行特征增强；
[0017]步骤S3、将多尺度特征增强网络增强后的数据输入多尺度自适应池化网络，多尺度自适应池化网络先使用Oriented RPN生成多尺度旋转区域建议，后使用多尺度自适应池化策略获取更为精准的感兴趣区域；所述的Oriented RPN是一种基于锚策略的方法，能够生成多种尺度，任意方向的区域建议；
[0018]步骤S4、旋转预测网络在感兴趣区域的基础上进一步识别遥感图像中的舰船，首先生成旋转边界框来标记任意方向的舰船；再使用skew IoU策略计算旋转边界框的交并比值，从而更好地区分正负样本；最后使用soft
‑
roate
‑
NMS策略合理地选择旋转预测框；所述的skew IoU策略，其基于三角剖分思想，能够精准的计算旋转边界框的交并比值；所述的soft
‑
roate
‑
NMS策略先根据重叠面积来更新剩余相邻旋转预测框的置信度，然后合理地选择旋转预测框；
[0019]步骤S5、采用多任务损失函数来训练上述舰船检测网络，包含回归损失和分类损失，回归损失用于调整旋转边界框的位置，分类损失用于判定待测目标是否为舰船；逐步训练优化参数以实现对遥感舰船目标的检测。
[0020]在步骤S1中，形变注意金字塔网络处理采用自底向上和自顶向下两个处理过程；
[0021]自底向上的处理过程是：使用SDC单元对输入图像进行充分地特征提取，形成一个维度递增、分辨率递减的特征金字塔{C2,C3,C4,C5}；
[0022]自顶向下的处理过程是：以{C2,C3,C4,C5}为输入，通过上采样和横向连接的方式构建自顶向下的特征金字塔{P2,P3,P4,P5}；在所述的两个处理过程中，融入了舰船注意模块，抑制不同尺度特征图中的背景噪声；
[0023]当对复杂尺寸的舰船进行识别时，进行如下处理：
[0024]针对较小尺寸舰船的检测采用分辨率较高的特征图，利用多尺度特征融合的形式
将低分辨率特征图{P4,P5}中的语义信息融入高分辨率特征图{P2,P3}；
[0025]针对较大尺寸的舰船，在高维特征图P5的基础上执行步长为2的下采样操作生成P6特征图，将其专门用于大型舰船的检测。
[0026]所述的SDC单元的特征提取过程为：
[0027]先使用1
×
1传统卷积调整输入特征图的通道数，并使用3
×
3传统卷积自适应地获取二维偏移量；然后，基于二维偏移量，使用3
×
3形变卷积提取任意形状、尺寸、方向的舰船特征；最后，使用1
×
1传统卷积进行降维，并使用线性激活函数激活特征，生成输出特征图；
[0028]所述舰船形变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于形变注意金字塔的遥感舰船目标检测方法，其特征在于：包括以下四个子网络，分别是：形变注意金字塔网络、多尺度特征增强网络、多尺度自适应池化网络和旋转预测网络；被检测图像依次经过上述子网络，逐步实现特征提取、特征增强、生成感兴趣区域和标记舰船；首先，在形变注意金字塔网络中集成舰船形变卷积单元和舰船注意模块，以充分提取任意方向舰船的特征；然后，在多尺度特征增强网络中采用多尺度特征增强模块对舰船进行特征提取，用以增强不同尺度的舰船特征，使舰船目标特征增强；再次，在多尺度自适应池化网络中采用多尺度自适应池化策略，从而精准地获取大纵横比舰船的感兴趣区域并学习舰船的多尺度上下文信息；最后，通过旋转预测网络生成旋转检测框，其通过参数回归和前后景分类生成基于舰船目标的旋转边界框，用于精准地标记任意方向的舰船。2.根据权利要求1所述的一种基于形变注意金字塔的遥感舰船目标检测方法，其特征在于：具体步骤如下：步骤S1、将需要检测的图像输入形变注意金字塔网络处理，该网络使用舰船形变卷积单元作为基础的特征提取模块，并使用舰船注意模块抑制背景噪声；步骤S2、将经形变注意金字塔网络处理后的多尺度特征图输入至多尺度特征增强网络，并使用其中的多尺度特征增强模块对其进行特征增强；步骤S3、将多尺度特征增强网络增强后的数据输入多尺度自适应池化网络，多尺度自适应池化网络先使用OrientedRPN生成多尺度旋转区域建议，后使用多尺度自适应池化策略获取更为精准的感兴趣区域；步骤S4、旋转预测网络在感兴趣区域的基础上进一步识别遥感图像中的舰船，先生成旋转边界框来标记任意方向的舰船；再使用skewIoU策略计算旋转边界框的交并比值，从而更好地区分正负样本；最后使用soft
‑
roate
‑
NMS策略合理地选择旋转预测框；步骤S5、采用多任务损失函数来训练上述舰船检测网络，包含回归损失和分类损失，回归损失用于调整旋转边界框的位置，分类损失用于判定待测目标是否为舰船；逐步训练优化参数以实现对遥感舰船目标的检测。3.根据权利要求2所述的一种基于形变注意金字塔的遥感舰船目标检测方法，其特征在于：在步骤S1中，形变注意金字塔网络处理采用自底向上和自顶向下两个处理过程；自底向上的处理过程是：使用舰船形变卷积单元对输入图像进行充分地特征提取，形成一个维度递增、分辨率递减的特征金字塔{C2,C3,C4,C5}；自顶向下的处理过程是：以{C2,C3,C4,C5}为输入，通过上采样和横向连接的方式构建自顶向下的特征金字塔{P2,P3,P4,P5}；在所述的两个处理过程中，融入了舰船注意模块，抑制不同尺度特征图中的背景噪声；当对复杂尺寸的舰船进行识别时，进行如下处理：针对较小尺寸舰船的检测采用分辨率较高的特征图，利用多尺度特征融合的形式将低分辨率特征图{P4,P5}中的语义信息融入高分辨率特征图{P2,P3}；针对较大尺寸的舰船，在高维特征图P5的基础上执行步长为2的下采样操作生成P6特征图，将其专门用于大型舰船的检测。
4.根据权利要求3所述的一种基于形变注意金字塔的遥感舰船目标检测方法，其特征在于：所述的舰船形变卷积单元的特征提取过程：先使用1
×
1传统卷积调整输入特征图的通道数，并使用3
×
3传统卷积自适应地获取二维偏移量；然后，基于二维偏移量，使用3
×
3形变卷积提取任意形状、尺寸、方向的舰船特征；最后，使用1
×
1传统卷积进行降维，并使用线性激活函数激活特征，生成输出特征图；所述舰船形变卷积单元为：遥感图像具备较高的分辨率，导致模型对该类图像进行训练时需要占用较大的显存资源；如果batch size设置过大，导致计算机显存溢出而无法训练；相比批量归一化，分组归一化的计算方式进行了优化；所述的分组归一化操作不依赖于batch size的大小，其计算的是通道方向上每个组的均值和方差；分组归一化更适合用于遥感图像的训练；舰船形变卷积单元中使用线性激活函数，保证模型保留更完整的特征信息；如果输入特征位于输入空间的非低维子空间，非线性激活函数会破坏提取的特征，影响检测性能；所述的舰船注意模块为：舰船注意模块从多个尺度抑制遥感图像的背景噪声，降低模型受不相关特征的干扰，最大程度地抑制背景噪声；舰船注意模块基于形变注意金字塔网络本身固有的多尺度架构，包括SA2、SA3和SA4模块；SA2模块调节注意力的过程表述如下：V3＝Flatten(Conv(F3))A3＝Grid(Sigmoid(V3))其中，表示将尺寸相同的特征图进行融合；F3表示融合后的特征图；Flatten表示展平操作，能够将特征图变为一维向量V3；Sigmoid是激活函数，其能够获取V3各特征点的注意力系数；Grid表示网格化操作，将一维注意力系数变为与P3具备相同尺寸的注意力系数图A3；表示两个矩阵的对应元素相乘；SA3和SA4的注意力调节过程与SA2模块调节注意力的过程相同。5.根据权利要求2所述的一种基于形变注意金字塔的遥感舰船目标检测方法，其特征在于：在步骤S2中，采用多尺度特征增强网络中的多尺度特征增强模块，多尺度特征增强模块使用了并行的拉普拉斯卷积核和空洞卷积核；其中，拉普拉斯卷积核用以实现对弱小目标特征的锐化；空洞卷积核用以提升弱小目标的感受野，使多尺度特征增强网络增强了模型对小目标舰船的特征描述；实现经形变注意金字塔网络对遥感图像中的舰船目标进行充分地特征提取后，对所得特征图进行特征增强，精准检测多尺度舰船，并消除对小目标舰船的漏检率；多尺度特征增强模块的增强过程如下：其中，GN(
·
)表示分组归一化；LConv3×3表示尺寸为3
×
3的拉普拉斯卷积核，其作用是通过拉普拉斯特征对不同尺度的...

【专利技术属性】
技术研发人员：张磊，张悦，刘佰龙，梁志贞，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：