一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法技术

本发明专利技术公开了一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，该方法首先提出了Ship Angle Dota数据集(下文用SAD数据集表示)以及由遥感图像分类网络(Remote sensing image classification network，下文用RSICN表示)和船舶目标检测网络(Ship object detection network，下文用SODN表示)组成的目标检测模型。SAD数据集标注了船舶的中心坐标，长宽以及旋转角度。RSICN与SODN共享基础卷积层，在此卷积层之后引出RSICN支路，并采用通道注意力机制。RSICN将输入的遥感图像分类过滤，SODN以DLA34为主干网同时预测船舶中心坐标，长宽和旋转角度。本发明专利技术在实验部分对遥感图像中船舶进行多目标检测，相比传统方法和其它单阶段目标检测网络的召回率与查准率更高，同时相比两阶段目标检测网络的检测效率有较大提升。

【技术实现步骤摘要】
一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
本专利技术属于计算机视觉目标检测领域，具体涉及一种基于多任务端到端的深度学习方法，特别涉及基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法。
技术介绍
遥感图像船舶目标检测属于遥感卫星图像目标检测领域中的热点研究方向。如在商业港口的货船动态监管，军事港口的舰船目标动向以及海域航道中船舶的搜救这些领域中具有极其重要的应用价值。但遥感图像超大的尺寸，目标密集，干扰因素众多，如何提高遥感图像船舶目标检测的效率和准确率方面还有非常大的挑战。遥感图像船舶目标检测方法主要分为传统目标检测与基于深度学习的目标检测两大类。传统的目标检测方法一般分为三个阶段：首先在给定的图像上选择一些候选的区域，然后对这些区域进行特征提取的操作，最后使用预先训练好的分类器进行分类。传统目标检测需要手工设计特征，对于遥感图像中多样性的变化并没有很好的鲁棒性，而且滑动窗口式的区域选择方式造成大量的计算冗余，效率低下。基于深度学习的目标检测方法将遥感图像输入卷积神经网络，卷积神经网络自动提取图像的特征，并根据提取的特征来预测出目标的信息，整体上提高了检测的精度和速度。目前基于深度学习的目标检测算法分为单阶段和两阶段两类目标检测算法，单阶段目标检测算法直接预测出目标信息，速度快准确度低，两阶段目标检测算法先通过提出候选区域，在此基础上在进行目标信息的预测，准确度高速度慢。综上所述，传统目标检测算法计算成本大并且鲁棒性低，基于深度学习的目标检测算法，无法很好的平衡检测速度和检测精度。所以在遥感图像船舶目标检测的领域仍有较大的改进空间，一个检测速度更快同时检测精度较更高的目标检测算法是今后研究的目标。
技术实现思路
本专利技术的目的是一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，在大尺寸遥感图像中，存在的各种干扰的情况下，能够有效地对遥感图像中的船舶目标进行检测。为了实现以上目的，本专利技术是通过以下技术方案实现的：一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，其特点是，该方法包含如下步骤：(1)所述SAD数据集以原OBB标签格式的Dota数据集为基础，从中提取出存在船舶的遥感图像以及图像对应的OBB标签，共得到368张遥感图像和其对应标签，并对得到的遥感图像进行重叠式切割，同时标签文件整理为对应于切割操作后的图片，切割处理后得到9732张遥感图像，对切割整理后的OBB格式标签文件转化为SAD格式标签，SAD格式标签包括目标中心坐标，目标大小和旋转角度，即得到所述SAD数据集；(2)所述多任务端到端联合模型由RSICN和SODN两个子网络组成，基于Pytorch深度学习框架搭建的动态计算图模型。两个子网络都建立在DLA34主干网上，并共享DLA34最前端的基础卷积层，RSICN负责推断出图像中是否存在船舶，将推断结果反馈给SODN，SODN根据反馈结果，将不存在船舶的图像数据丢弃，只将存在船舶的图像数据作为自己的输入，最后由SODN推断出遥感图像中船舶的坐标位置，大小和旋转角度。所述的步骤(1)详细步骤如下：(11)所述重叠式切割，将超大尺寸的遥感图像从左上角以滑动窗口的方式切割为640*640尺寸的子图像，并且相邻子图像存在100*100的重叠区域，将切割后的图片输入网络模型，极大降低了模型内存的占用并提升推断速度；(12)所述SAD格式标签，如图2a所示，ABCD组成的矩形为OBB格式标签中目标的外接矩形，A1B1C1D1为ABCD矩形的水平矩形，四个角点按照瞬时间方向排列，取A，B两个角点距离作为目标高记作H，取B和C角点距离作为目标宽度记作W。取A和C角点中点O，O坐标记作(cx，cy)，并以O为坐标原点建立二维坐标系，取A和B中点E，以及A1和B1中点F，OE与OF间夹角记为Θ，若E在一三象限Θ为正，E在二四象限Θ为负，综上处理方法即可生成包含目标中心点坐标，目标大小和旋转角度的SAD数据集。所述的步骤(2)详细步骤如下：(21)所述SAD数据集作为网络模型的输入数据，首先通过双线性插值将尺寸由640*640调整为512*512，并遵从正负样本比例平衡的原则使存在船只和无船只的图像比例为1:1，再按照7：2：1的比例划分为训练集，验证集和测试集；(22)所述RSICN是组成多任务端到端联合模型的遥感图像分类分支网络，其最底部的卷积层是与SODN共享的DLA34主干网的基础卷积层，RSICN的主干部分采用ResNet34，ResNet34主干网在图像分类任务中表现非常突出，同时在最后的全连接层之前，加入通道注意力模块，对每个通道的特征图进行自注意力加权，使整个网络模型能够主动学习到每个通道对网络的贡献大小，从而提升RSICN最终的预测能力；(23)所述通道注意力模块，首先将ResNet34输出特征图分别进行全局最大池化和全局平均池化，形状为(Batch，channel，1，1)，将两者得到的结果在channel维度进行拼接，拼接后经过一层1*1卷积将channel转为特征图通道数，再通过Relu激活后保证输出为正值，最后在通过Sigmoid函数得到最终的通道加权权重，再将权重与特征图相乘，得到加权后的特征图，使网络模型能够学习到不同通道对网络的影响程度。(24)输入图像数据经过RSICN，RSICN给出每个图片对应的分类结果，一类是存在船舶，一类无船舶，将此结果反馈到SODN的输入端，并将不存在船舶的图像输出去除，只将存在船舶的图像输入SODN，以此提高整个网络模型的推断速度；(25)所述SODN是组成多任务端到端联合模型的遥感图像目标检测分支网络，其主干采用DLA34，DLA34主干网能够迭代式的将网络结构的特征信息融合起来，提升网络模型的推断速度和检测结果的精度，SODN最顶部输出的特征图尺寸为128*128，特征图对于输入尺寸下采样了4倍，提升了对小目标检测的能力，在此特征图基础上，分别引出目标中心坐标，目标长宽，目标长宽偏移和旋转角度分支，来预测对应的目标信息；(26)所述旋转角度分支，如图2b所示，采用AngleRelu激活函数，AngleRelu激活函数在Relu激活函数的基础上对旋转角度的回归更具敏感性，输入在-90到90区间，梯度始终为1，解决了梯度消失和梯度爆炸的问题，同时在高于90和低于-90的区间直接截断，保证了激活函数的输出匹配旋转角度的范围。(27)经过以上所有步骤，将所有输出结果汇总整理，并把切割图像还原为原始图像，即得到遥感图像船舶目标检测结果。本专利技术与现有技术相比，具有以下优点：(1)本专利技术提出的SAD数据集、包含RSICN和SODN的多任务端到端联合模型也同样适用于其他遥感图像场景中的旋转目标检测，如机场、停车场等。(2)本专利技术提出的遥感图像船舶旋转目标检测方法能精准检测出各种背景中的遥感图像船舶旋转目标，本文方法综合准确率表现良好，且具有较强的适应性。附图说明图本文档来自技高网...

【技术保护点】
1.一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，其特征在于，该方法包含如下步骤：/n(1)SAD数据集以原OBB标签格式的Dota数据集为基础，从中提取出存在船舶的遥感图像以及图像对应的OBB标签，共得到368张遥感图像和其对应标签，并对得到的遥感图像进行重叠式切割，同时标签文件整理为对应于切割操作后的子图片，切割处理后得到9732张遥感图像，对切割整理后的OBB格式标签文件转化为SAD格式标签，SAD格式标签包括目标中心坐标，目标大小和旋转角度，即得到所述SAD数据集；/n(2)多任务端到端联合模型由RSICN和SODN两个子网络组成，基于Pytorch深度学习框架搭建的动态计算图模型。两个子网络都建立在DLA34主干网上，并共享DLA34最前端的基础卷积层，RSICN负责推断出图像中是否存在船舶，将推断结果反馈给SODN，SODN根据反馈结果，将不存在船舶的图像数据丢弃，只将存在船舶的图像数据作为自己的输入，最后由SODN推断出遥感图像中船舶的坐标位置，大小和旋转角度。/n

【技术特征摘要】
1.一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，其特征在于，该方法包含如下步骤：
(1)SAD数据集以原OBB标签格式的Dota数据集为基础，从中提取出存在船舶的遥感图像以及图像对应的OBB标签，共得到368张遥感图像和其对应标签，并对得到的遥感图像进行重叠式切割，同时标签文件整理为对应于切割操作后的子图片，切割处理后得到9732张遥感图像，对切割整理后的OBB格式标签文件转化为SAD格式标签，SAD格式标签包括目标中心坐标，目标大小和旋转角度，即得到所述SAD数据集；
(2)多任务端到端联合模型由RSICN和SODN两个子网络组成，基于Pytorch深度学习框架搭建的动态计算图模型。两个子网络都建立在DLA34主干网上，并共享DLA34最前端的基础卷积层，RSICN负责推断出图像中是否存在船舶，将推断结果反馈给SODN，SODN根据反馈结果，将不存在船舶的图像数据丢弃，只将存在船舶的图像数据作为自己的输入，最后由SODN推断出遥感图像中船舶的坐标位置，大小和旋转角度。


2.如权利要求1所述的基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，其特征在于重叠式切割和SAD格式标签的方法和设计，所述的步骤(1)详细步骤如下：
(11)所述重叠式切割，将超大尺寸的遥感图像从左上角以滑动窗口的方式切割为640*640尺寸的子图像，并且相邻子图像存在100*100的重叠区域，将切割后的图片输入网络模型，极大降低了模型内存的占用并提升推断速度；
(12)所述SAD格式标签，如图2a所示，ABCD组成的矩形为OBB格式标签中目标的外接矩形，A1B1C1D1为ABCD矩形的水平矩形，四个角点按照瞬时间方向排列，取A，B两个角点距离作为目标高记作H，取B和C角点距离作为目标宽度记作W。取A和C角点中点O，O坐标记作(cx，cy)，并以O为坐标原点建立二维坐标系，取A和B中点E，以及A1和B1中点F，OE与OF间夹角记为Θ，若E在一三象限Θ为正，E在二四象限Θ为负，综上处理方法即可生成包含目标中心点坐标，目标大小和旋转角度的SAD数据集。
如权利要求1所述的基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，其特征在于，所述的步骤(2)详细步骤如下：
(21)所述SAD数据集作为网络模型的输入数据，首先通过双线性插值将尺寸由640*640调整为5...

【专利技术属性】
技术研发人员：俞旭辉，潘鸣，侯丽伟，谢巍，周德亮，袁毅，孙义兴，
申请(专利权)人：上海亨临光电科技有限公司，
类型：发明
国别省市：上海;31