一种基于深度学习的遥感图像目标检测方法技术

本发明专利技术公开了一种基于深度学习的遥感图像目标检测方法，方法包括：以遥感图像作为输入，使用特征金字塔网络提取不同尺度的特征图；构建自底向上的细粒度增强模块，用于底层特征向上传递、与上层特征逐层融合，实现自底向上加强细粒度信息、优化目标定位；在细粒度信息的基础上获取检测框位置的初步预测，确定初步预测框的位置；使用卷积网络搭建预测头，将不同尺度的对齐特征送入并行的分类支路和回归支路进行预测；构建具有角度周期约束的方向敏感回归损失函数，对回归损失进行修正，获得更接近真实框的预测值，进而构建网络优化的总体损失，训练基于深度学习的遥感图像目标检测网络。本发明专利技术通过利用底层特征富含的细粒度信息“自底向上”地增强上层特征，提高了定位准确度。确度。确度。

【技术实现步骤摘要】
一种基于深度学习的遥感图像目标检测方法


[0001]本专利技术涉及目标检测、计算机视觉领域，尤其涉及一种基于深度学习的遥感图像目标检测方法。

技术介绍

[0002]随着遥感平台和传感器技术的不断进步发展，利用星载、机载等载荷平台可以获得大量高空间分辨率的遥感图像。遥感图像富含丰富的空间及地面信息，是对地探测的重要数据来源，被广泛应用于军用和民用领域。光学遥感图像中的目标检测旨在分类和定位给定航空或卫星图像中包含的一个或多个感兴趣目标，其检测结果通常由包含检测目标的检测框和该目标的类别判断得分组成。
[0003]由于视点变化、背景复杂、光照、阴影等因素的影响，区别于自然图像，遥感图像具备目标体积较小、分布密集、角度多变，以及背景与目标之间的区分度较小的特点，增加了遥感图像目标检测的难度。由于遥感图像俯视拍摄的特殊性，在检测目标时需要额外关注目标的方向信息，这使得自然图像目标检测难以有效地适用于遥感图像。
[0004]传统的遥感图像目标检测方法通过提取手工设计特征来对图像进行检测框预测。例如，Li等人提出了一种基于脊波变换和修正的平行光束拉东变换的直路边缘检测方法。但是这类方法所采用的特征无法表达目标的抽象语义特征，导致其检测性能受到限制。近年来，人们开始关注基于深度学习的目标检测方法。这类方法的基本步骤为：首先提取一组能够表征目标的特征，然后使用所提特征进行类别和位置的预测。针对遥感图像中目标方向任意旋转的问题，许多方法使用旋转框代替水平框检测，以使得检测结果兼具目标的方向信息。如Ding等人设计感兴趣区域(Region of Interest,ROI)Transformer，通过全连接学习将水平RoI转化为旋转RoI。Han等人通过设计对齐卷积层缓解了旋转框预测中分类和回归的不一致问题。然而，上述方法没有充分利用细粒度信息来增强目标的位置信息，导致遥感图像目标检测的定位精度受到限制。此外，旋转角度的预测对于水平框到旋转框的转换至关重要，上述方法没有考虑到旋转角度回归的特殊性，使用与水平框检测中常用的回归损失函数来约束旋转角度的预测，易对网络角度预测造成一定程度的误导。
[0005]因此，充分利用底层特征所富含的细粒度信息，并加强对于旋转角度回归的关注在遥感图像目标检测中具有重要的研究意义。

技术实现思路

[0006]考虑到细粒度信息对于检测框的准确定位具有较大的帮助、以及确定旋转角度对于水平框到旋转框转换至关重要，本专利技术提出了一种基于深度学习的遥感图像目标检测方法，通过利用底层特征富含的细粒度信息“自底向上”地增强上层特征，进而提高定位准确度，详见下文描述：
[0007]一种基于深度学习的遥感图像目标检测方法，所述方法包括：
[0008]以遥感图像作为输入，使用特征金字塔网络提取不同尺度的特征图；
[0009]构建自底向上的细粒度增强模块，用于底层特征向上传递、与上层特征逐层融合，实现自底向上加强细粒度信息、优化目标定位；
[0010]在细粒度信息的基础上获取检测框位置的初步预测，确定初步预测框的位置；使用卷积网络搭建预测头，将不同尺度的对齐特征送入并行的分类支路和回归支路进行预测；
[0011]构建具有角度周期约束的方向敏感回归损失函数，对Smooth
l1 loss回归损失进行修正，获得更接近真实框的预测值，进而构建网络优化的总体损失，训练基于深度学习的遥感图像目标检测网络。
[0012]其中，所述自底向上的细粒度增强模块具体为：
[0013]在第i层，以更低一层的增强后特征和对应尺寸的FPN特征F
i
作为输入，输出该层细粒度增强特征通过卷积对进行下采样以适应F
i
尺寸；
[0014]通过逐像素相加进行初步的特征融合，通过使用注意力模块来学习两种特征的最佳融合权重，实现最终的特征融合。
[0015]进一步地，所述细粒度增强模块表示如下：
[0016][0017]其中，C
a
[
·
]表示兼顾了全局注意力和局部注意力的注意力学习模块，表示逐像素点相加，τ[
·
]表示一个步长为2的3
×
3卷积，用于降低较底层特征的分辨率，表示逐像素点相乘；
[0018]通过迭代使用细粒度增强模块，得到细粒度增强特征
[0019]在一种实施方式中，所述具有角度周期约束的方向敏感回归损失函数为：
[0020][0021]其中，θ表示预测框旋转角度，θ
gt
是真值旋转角度，j和j
gt
分别表示旋转框预测参数和其对应的真实值，k表示权重系数。
[0022]本专利技术提供的技术方案的有益效果是：
[0023]1、本专利技术充分利用了底层特征的细粒度信息，并考虑了旋转角度的约束，实现了遥感图像旋转框检测的较好性能；
[0024]2、考虑到底层特征具备更丰富的细粒度信息，且细粒度信息对于检测框的准确定位具有较大的帮助价值，本专利技术设计了细粒度增强模块，利用底层特征富含的细粒度信息“自底向上”地增强上层特征，进而提高定位准确度；
[0025]3、考虑到确定旋转角度对于水平框到旋转框的转换至关重要，且角度具有周期性的特点，本专利技术设计基于角度周期性约束的回归损失函数以保证旋转角度的准确预测，从而获得较好的检测效果。
附图说明
[0026]图1为一种基于深度学习的遥感图像目标检测方法的流程图。
具体实施方式
[0027]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。
[0028]一、获取多尺度特征图
[0029]为了达到对于不同尺寸目标的有效检测，本方法以遥感图像作为输入，使用特征金字塔网络(Feature Pyramid Network，FPN)提取不同尺度的特征F∈X
h
×
w
×
c
，其中h
×
w表示特征图的尺寸，c表示特征图通道，X表示特征空间。在所提取不同尺度特征中，底层特征尺寸较大，感受野较小，用于检测小目标；顶层特征尺寸较小，感受野较大，用于检测大目标。本方法中所用于检测的特征图尺寸分别为128
×
128，64
×
64，32
×
32，16
×
16，8
×
8。
[0030]二、构建自底向上的细粒度增强模块
[0031]考虑到底层特征具备更加丰富的细粒度信息，有助于更加精确地定位目标，本方法构建了自底向上的细粒度增强模块，用于将富含细粒度信息的底层特征向上传递、与上层特征逐层融合，达到自底向上加强细粒度信息、优化目标定位的效果。
[0032]具体来说，特征金字塔输出的特征表示为{F0,F1,F2,F3,F4}，其中从F0到F4，特征图的尺寸通过二倍下采样依次递减。所提出自底向上的细粒度增强模块输出的细粒度增本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的遥感图像目标检测方法，其特征在于，所述方法包括：以遥感图像作为输入，使用特征金字塔网络提取不同尺度的特征图；构建自底向上的细粒度增强模块，用于底层特征向上传递、与上层特征逐层融合，实现自底向上加强细粒度信息、优化目标定位；在细粒度信息的基础上获取检测框位置的初步预测，确定初步预测框的位置；使用卷积网络搭建预测头，将不同尺度的对齐特征送入并行的分类支路和回归支路进行预测；构建具有角度周期约束的方向敏感回归损失函数，对Smooth
l1 loss回归损失进行修正，获得更接近真实框的预测值，进而构建网络优化的总体损失，训练基于深度学习的遥感图像目标检测网络。2.根据权利要求1所述的一种基于深度学习的遥感图像目标检测方法，其特征在于，所述自底向上的细粒度增强模块具体为：在第i层，以更低一层的增强后特征和对应尺寸的FPN特征F
i
作为输入，输出该层细粒度增强特征通过卷积对进行下采样以适应F
i...

【专利技术属性】
技术研发人员：雷建军，王梦园，彭勃，张轩宇，于传波，郭亭佚，
申请(专利权)人：天津大学，
类型：发明
国别省市：