一种基于旋转区域生成网络的遥感图像目标检测方法技术

本发明专利技术公开一种基于旋转区域生成网络的遥感图像目标检测方法，使用该方法进行旋转目标检测的流程包含以下步骤：获取遥感图像数据集，按照一定比例选取构成训练集与测试集，并使用五元组的旋转边界框标记训练集；搭建深度学习网络框架，设计网络损失函数用于网络训练；使用训练集图像对网络框架进行训练；利用训练好的模型测试测试集得到带有旋转角度信息的目标检测结果。利用该方法可以有效解决提取具有旋转不变性的特征描述目标的不同朝向的问题，在保证效率的同时提高了网络检测旋转目标的鲁棒性，并在公开数据集上验证了检测网络的有效性。该方法可被广泛应用于存在多方向性目标的目标检测任务中。性目标的目标检测任务中。性目标的目标检测任务中。

【技术实现步骤摘要】
一种基于旋转区域生成网络的遥感图像目标检测方法


[0001]本专利技术涉及模式识别、图像处理领域，具体涉及一种基于旋转区域生成网络的遥感图像目标检测方法。

技术介绍

[0002]遥感图像目标检测应用中另一个重要问题是对旋转目标的检测。在普通图像中目标都是水平视角，由于重力作用，待检目标一般都具有一定的方向先验知识，例如树都是竖直生长的，汽车的轮子一般是朝下的而不会上下颠倒等等。然而由于视角的原因，遥感图像中的视角基本都是高空俯视，目标的方向都是不确定的，可以呈现不同的方向。因此，如何提取具有旋转不变性的特征描述目标的不同朝向成为一个重要的问题。在通用目标检测任务中，一般采用{8
×
8，16
×
16，32
×
32}
×
{1∶1，1∶2，2∶1}设置的锚框即可覆盖自然场景下的大多数常见目标。然而对于一些特殊场景的目标检测任务，例如文本行检测和遥感目标检测，这种与坐标轴对齐的锚框设置的鲁棒性较差。

技术实现思路

[0003]专利技术目的：针对以上问题，本专利技术提出一种基于旋转区域生成网络的遥感图像目标检测方法，通过设计包含旋转目标候选区域的预测、旋转ROI池化以及斜框NMS的后处理模块的旋转区域生成网络以解决遥感图像中多方向性目标的检测问题。
[0004]技术方案：为实现本专利技术的目的，本专利技术提出一种基于旋转区域生成网络的遥感图像目标检测方法，具体包括以下步骤：
[0005]步骤1：获取遥感图像数据集，按照一定比例选取构成训练集与测试集，并使用五元组的旋转边界框标记训练集；
[0006]步骤2：搭建深度学习网络框架，设计网络损失函数用于网络训练；
[0007]步骤3：使用训练集图像对网络框架进行训练；
[0008]步骤4：利用训练好的模型测试测试集得到带有旋转角度信息的目标检测结果。
[0009]进一步的，所述步骤1，获取遥感图像数据集，按照一定比例选取构成训练集与测试集，并使用五元组的旋转边界框标记训练集，方法如下：
[0010]获取遥感图像数据集，按照一定比例将其分成训练集与测试集。对于训练集，将每张图像上需要检测的每一个目标使用一个五元组(x，y，w，h，θ)来编码旋转边界框确定其在原图像中的位置信息，即真实边界框。其中(x，y)表示该目标的真实边界框中心点在原图中的坐标，(w，h)表示该目标的真实边界框的宽度和高度，θ表示该目标的真实边界框与原图像水平x轴正方向的夹角，并规定θ属于[0，π)区间内。将训练集中每张图片的每个包含五元组信息的真实边界框以及其对应的目标类别信息记录到文本文件中生成标注文件，完成对训练集的标注。对于测试集不需要进行标注。
[0011]进一步的，所述步骤2，搭建深度学习网络框架，设计网络损失函数用于网络训练，方法如下：
[0012]搭建深度学习网络框架，选择ResNet网络作为主干网络，用于将训练集中的图像卷积生成特征图。
[0013]在ResNet网络后面增加旋转候选区域生成网络，用于在特征图上预测区分前景和背景。旋转候选区域生成网络的输入为特征图，输出为该特征图上预测生成的带有旋转角度信息的目标候选区域，即预测框，目标候选区域包括(x，y，w，h，θ)这5个参数。旋转候选区域生成网络在传统RPN网络基础上增加了θ角度参数，即在生成预测框参数时从原来的(x，y，w，h)4参数增加为(x，y，w，h，θ)5参数。
[0014]旋转候选区域生成网络采用多任务损失函数，其中分类损失为：
[0015]L
cls
(p，u)＝-log pu
[0016]其中u定义为旋转边界框的样本类别标签，当u＝1表示旋转边界框包含目标，即前景；当u＝0表示旋转边界框不包含目标，即背景，不参与计算；p为预测框通过Softmax函数计算得到的分类概率，即旋转候选区域生成网络生成的预测框是前景的概率。
[0017]回归损失为：
[0018][0019]其中v＝(v
x
，v
y
，v
w
，v
h
，v
θ
)表示候选区域的预测框的5个预测参数，v
*
＝(v
x*
，v
y*
，v
w*
，v
h*
，v
θ*
)表示真实值的5个参数。其中函数定义为：
[0020][0021]为了实现尺度不变性，还需要对v和v
*
进行尺度归一化。假设当前锚框参数为(x
a
，y
a
，w
a
，h
a
，θ
a
)，那么将v和v
*
进行尺度归一化得到：
[0022][0023][0024][0025][0026]式中，x，x
a
，x
*
分别代表预测边界框、锚框和真实边界框的横坐标，y，w，h，θ同理；其中，k∈Z使得同理。
[0027]在转候选区域生成网络后加入旋转ROI池化层，旋转ROI池化层的输入是特征图与旋转候选区域生成网络输出的目标候选区域，输出是根据候选区域从特征图生成固定尺寸的特征向量。假设旋转ROI池化层的超参数为W
r
和H
r
，即每个由旋转候选区域生成网络生成的尺寸为w
×
h的旋转目标候选区域，被分割为W
r
×
H
r
个子区域，每个子区域的尺寸为w
s
×
h
s
，其中w
s
＝w/W
r
，h
s
＝h/H
r
。分割后的每个子区域与整个候选区域的旋转角度相同，在子区域内同候选区域的角度对子区域进行[w
s
]×
[h
s
]的采样，采样点的特征值通过双线性插值计算得到，然后对每个子区域内的采样点进行最大池化得到固定大小的特征图。
[0028]最后在旋转ROI池化层后加入全连接层，根据生成的特征向量通过并行的回归层和分类层生成输入图像对应的目标位置和类别信息，得到最后的结果。
[0029]整个网络模型采用多任务损失函数，其公式如下：
[0030]L(p，u，v
*
，v)＝L
cls
(p，u)+λL
loc
(v
*
，v)
[0031]式中λ表示回归损失的惩罚系数，其余各符号的定义均与之前相同。
[0032]对于分类损失，采用Softmax损失函数；对于回归损失，只计算当u＝1时的损失，并在smooth L1损失函数的基础上加入了IoU惩罚系数，IoU即表示两个框的交并比。包含IoU惩罚系数的回归损失函数IoU-smooth L1的定义为：
...

【技术保护点】

【技术特征摘要】
1.一种基于旋转区域生成网络的遥感图像目标检测方法，其特征在于，该方法包括以下步骤：步骤1：获取遥感图像数据集，按照一定比例选取构成训练集与测试集，并使用五元组的旋转边界框标记训练集；步骤2：搭建深度学习网络框架，设计网络损失函数用于网络训练；步骤3：使用训练集图像对网络框架进行训练；步骤4：利用训练好的模型测试测试集得到带有旋转角度信息的目标检测结果。2.根据权利要求1所述的一种基于旋转区域生成网络的遥感图像目标检测方法，其特征在于，所述步骤1，获取遥感图像数据集，按照一定比例选取构成训练集与测试集，并使用五元组的旋转边界框标记训练集，方法如下：获取遥感图像数据集，按照一定比例将其分成训练集与测试集，对于训练集，将每张图像上需要检测的每一个目标使用一个五元组(x，y，w，h，θ)来编码旋转边界框确定其在原图像中的位置信息，即真实边界框；其中，(x，y)表示该目标的真实边界框中心点在原图中的坐标，(w，h)表示该目标的真实边界框的宽度和高度，θ表示该目标的真实边界框与原图像水平x轴正方向的夹角，并规定θ属于[0，π)区间内，将训练集中每张图片的每个包含五元组信息的真实边界框以及其对应的目标类别信息记录到文本文件中生成标注文件，完成对训练集的标注；测试集中的图像按照上述方法处理，但是测试集图像不需要进行标注。3.根据权利要求1或2所述的一种基于旋转区域生成网络的遥感图像目标检测方法，其特征在于，所述步骤2，搭建深度学习网络框架，设计网络损失函数用于网络训练，方法如下：搭建深度学习网络框架，将训练集中的图像输入ResNet网络中生成特征图；在ResNet网络后面增加旋转候选区域生成网络，用于在特征图上预测区分前景和背景，旋转候选区域生成网络的输入为特征图，输出为该特征图上预测生成的带有旋转角度信息的目标候选区域，即预测框，目标候选区域包括(x，y，w，h，θ)这5个参数，旋转候选区域生成网络在传统RPN网络基础上增加了θ角度参数，即在生成预测框参数时从原来的(x，y，w，h)4参数增加为(x，y，w，h，θ)5参数；旋转候选区域生成网络采用多任务损失函数，其中分类损失为：L
cls
(p，u)＝-log pu其中，u定义为旋转边界框的样本类别标签，当u＝1表示旋转边界框包含目标，即前景；当u＝0表示旋转边界框不包含目标，即背景，不参与计算；p为预测框通过Softmax函数计算得到的分类概率，即旋转候选区域生成网络生成的预测框是前景的概率；回归损失为：其中，v＝(v
x
，v
y
，v
w
，v
h
，v
θ
)表示候选区域的预测框的5个预测参数，v
*
＝(v
x*
，v
y*
，v
w*
，v
h*
，v
θ*
)表示真实值的5个参数，其中，函数定义为：
为了实现尺度不变性，还需要对v和v
*
进行...

【专利技术属性】
技术研发人员：段连元，
申请(专利权)人：南京泓图人工智能技术研究院有限公司，
类型：发明
国别省市：