基于特征增强的多类别光学图像旋转目标自适应检测方法技术

本发明专利技术提出了一种基于特征增强的多类别光学图像旋转目标自适应检测方法，实现步骤为：获取训练样本集和测试样本集；构建基于特征增强的光学图像旋转目标检测网络模型；对基于特征增强的光学图像旋转目标检测网络模型进行迭代训练；通过训练好的基于特征增强的光学图像旋转目标检测网络模型对所有目标的边界框位置和类别置信度进行检测。本发明专利技术通过特征增强子网络对特征提取子网络提取后的特征进行卷积融合，增强了目标的语义特征和位置特征，同时检测网络在卷积融合后的高分辨率特征图上检测出更多的小尺度目标，减小了小尺度目标漏检的几率，提高了任意方向多尺度旋转目标检测的召回率和准确率，可用于资源管理、安全预警、非法活动识别等领域。非法活动识别等领域。非法活动识别等领域。

【技术实现步骤摘要】
基于特征增强的多类别光学图像旋转目标自适应检测方法


[0001]本专利技术属于图像处理
，涉及一种光学图像旋转目标检测方法，具体涉及一种基于特征增强的多类别光学图像旋转目标自适应检测方法，可用于资源管理、安全预警、非法活动识别等领域。

技术介绍

[0002]近年来随着我国的卫星数量逐渐增多以及获取的图像质量也在不断提升，能够采集到高分辨率的光学图像，这为各种资源的监视和管理等相关研究带来了新的挑战。光学图像旋转目标检测为这方面的研究提供了一种高效的思路。光学图像旋转目标检测是指在已经获取的光学图像上，检测出图像中所有感兴趣目标的边界框位置和类别，旋转目标指的是目标的边界框位置包含边界框的中心点坐标、边界框的长、边界框的宽以及边界框的长边与水平方向的逆时针夹角。然而光学图像旋转目标检测仍存在一些难点，例如背景信息的复杂度高、目标的尺寸变化大、目标密集排列以及目标以任意方向出现。
[0003]现有的光学图像目标检测方法主要分为传统的目标检测方法和基于深度学习的目标检测方法。传统的目标检测方法在给定的图像上选择一些候选的区域，对这些区域提取特征，再使用训练的分类器进行分类，该类传统的检测方法在信息丰富的光学图像上检测精度普遍低且消耗时间过长。基于深度学习的目标检测方法中具有代表性的有J.Redmon等人在2016年提出的YOLOV3算法。针对传统的目标检测算法普遍出现的运算速度慢的缺点，YOLOV3直接在输出层回归边界框的位置和所属类别信息，从而满足实时性能需求，但由于YOLOV3为水平边界框定位的目标检测方法，无法定位旋转目标的角度。
[0004]为了获得旋转目标的方向信息，研究学者在YOLOV3的基础上通过设计旋转的先验框去匹配旋转目标实现更精确的定位。例如申请公布号为CN110674674A，名称为“一种基于YOLOV3的旋转目标检测方法”的专利申请，公开了一种基于YOLOV3的旋转目标检测方法，该方法通过重新设计YOLOV3算法中边界框的产生、IOU的计算和损失函数的计算方法，解决了无法定位旋转目标角度以及目标检测准确率和召回率低的问题，但该方法中小尺度目标经过特征提取网络的多次下采样后特征容易丢失，导致小尺度目标的漏检，同时该网络特征提取网络提取目标的语义特征和位置特征不充分，导致目标检测的准确率低。

技术实现思路

[0005]本专利技术的目的在于克服上述现有技术存在的缺陷，提出了一种基于特征增强的多类别光学图像旋转目标自适应检测方法，用于解决现有技术中存在的任意方向多尺寸密集排列的旋转目标召回率与准确率低的问题。
[0006]本专利技术的技术思路为，获取训练样本集和测试样本集，对训练样本集进行镜像翻转和任意方向扰动角度的数据增强，搭建一个包含主干网络和检测网络的光学图像旋转目标检测网络模型，其中主干网络包含特征提取子网络和特征增强子网络，检测网络包含定位子网络和分类子网络，利用训练样本集训练光学图像旋转目标检测网络模型，得到训练
好的光学图像旋转目标检测网络模型，将测试样本作为训练好的光学图像旋转目标检测网络模型的输入进行检测得到所有目标的边界框位置和类别置信度，并滤除目标类别置信度中低于置信度阈值的目标边界框位置和类别置信度，得到过滤后的目标边界框位置和类别置信度，然后通过旋转目标的非极大值抑制RNMS方法对同一目标重复检测的边界框位置的目标的边界框和类别置信度进行过滤，得到过滤后的目标边界框和类别置信度；
[0007]根据上述技术思路，实现本专利技术目的采取技术方案包括如下步骤：
[0008](1)获取训练样本集和测试样本集：
[0009](1a)获取包括M个旋转目标类别的T幅大小为N
×
N的光学图像H＝{H1,H2,
…
,H
t
,
…
,H
T
}，每幅光学图像H
t
至少包含K个旋转目标，并通过标注框对每幅光学图像H
i
中的每个旋转目标进行标注，将标注框中心的水平坐标x和垂直坐标y、标注框的长l和宽w、标注框的长边与水平方向的逆时针夹角θ作为H
t
中每个旋转目标的边界框位置标签，将标注框内目标的类别c作为H
t
中每个目标的类别标签，c∈{1，2，
…
，M}，其中，M≥2，T≥20，H
t
表示第t幅光学图像，K≥2；
[0010](1b)以l_step为滑动步长，并通过大小为n
×
n的滑窗将每幅光学图像H
t
裁剪为P个光学子图像H
’
t
＝{H
’
t1
,H
’
t2
,
…
,H
’
ts
,
…
,H
’
tP
}，得到裁剪后的光学图像集合H
’
＝{H
’1,H
’2,
…
,H
’
t
,
…
,H
’
T
}，其中，H
’
ts
表示H
t
裁剪得到的第s个光学子图像；
[0011](1c)通过光学子图像H
’
ts
中目标相对于H
t
中目标的水平偏移量x
diff
和垂直偏移量y
diff
，计算图像H
’
ts
中目标的水平坐标x
’
＝x
‑
x
diff
和垂直坐标y
’
＝y
‑
y
diff
，并将图像H
’
ts
中目标的标注框中心的水平坐标x
’
和垂直坐标y
’
、标注框的长l和宽w、标注框的长边与水平方向的逆时针夹角θ作为H
’
ts
中目标的边界框位置标签，图像H
’
ts
中目标的标注框的类别c作为H
’
ts
中目标的类别标签；
[0012](1d)对H
’
t
中包含旋转目标的光学子图像集合H”t
中的每个光学子图像分别进行镜像翻转和随机角度扰动的数据增强，得到数据增强后的光学子图像集合H
”’
t
，并将H”t
和H
”’
t
构成的光学子图像集合以及中每个光学子图像的标签作为训练样本集，将从裁剪后的光学子图像集合H
’
中随机抽取的R
×
P幅裁剪后的光学子图像集合H
*
以及H
*
中每个光学子图像的标签作为测试样本集，其中，
[0013](2)构建基于特征增强的光学图像旋转目标检测网络模型：
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征增强的多类别光学图像旋转目标自适应检测方法，其特征在于，包括如下步骤：(1)获取训练样本集和测试样本集：(1a)获取包括M个旋转目标类别的T幅大小为N
×
N的光学图像H＝{H1,H2,
…
,H
t
,
…
,H
T
}，每幅光学图像H
t
至少包含K个旋转目标，并通过标注框对每幅光学图像H
i
中的每个旋转目标进行标注，将标注框中心的水平坐标x和垂直坐标y、标注框的长l和宽w、标注框的长边与水平方向的逆时针夹角θ作为H
t
中每个旋转目标的边界框位置标签，将标注框内目标的类别c作为H
t
中每个目标的类别标签，c∈{1，2，
…
，M}，其中，M≥2，T≥20，H
t
表示第t幅光学图像，K≥2；(1b)以l_step为滑动步长，并通过大小为n
×
n的滑窗将每幅光学图像H
t
裁剪为P个光学子图像H
′
t
＝{H
′
t1
,H
′
t2
,
…
,H
′
ts
,
…
,H
′
tP
}，得到裁剪后的光学图像集合H
′
＝{H
′1,H
′2,
…
,H
′
t
,
…
,H
′
T
}，其中，H
′
ts
表示H
t
裁剪得到的第s个光学子图像；(1c)通过光学子图像H
′
ts
中目标相对于H
t
中目标的水平偏移量x
diff
和垂直偏移量y
diff
，计算图像H
′
ts
中目标的水平坐标x
′
＝x
‑
x
diff
和垂直坐标y'＝y
‑
y
diff
，并将图像H
′
ts
中目标的标注框中心的水平坐标x'和垂直坐标y'、标注框的长l和宽w、标注框的长边与水平方向的逆时针夹角θ作为H
′
ts
中目标的边界框位置标签，图像H
′
ts
中目标的标注框的类别c作为H
′
ts
中目标的类别标签；(1d)对H
′
t
中包含旋转目标的光学子图像集合H
″
t
中的每个光学子图像分别进行镜像翻转和随机角度扰动的数据增强，得到数据增强后的光学子图像集合H
″′
t
，并将H
″
t
和H
″′
t
构成的光学子图像集合以及中每个光学子图像的标签作为训练样本集，将从裁剪后的光学子图像集合H'中随机抽取的R
×
P幅裁剪后的光学子图像集合H
*
以及H
*
中每个光学子图像的标签作为测试样本集，其中，(2)构建基于特征增强的光学图像旋转目标检测网络模型：构建包括顺次连接的主干网络和检测网络的光学图像旋转目标检测网络模型，其中：主干网络包括顺次连接的特征提取子网络和特征增强子网络；特征提取子网络包括多个卷积层和多个block块，block块包括顺次连接的两个卷积层和一个残差连接层；特征增强子网络包含顺次连接的一个上采样层和block1块；检测网络包括并行连接的定位子网络和分类子网络；定位子网络包含顺次连接的卷积层、全连接层和先验框层；分类子网络包含顺次连接的卷积层和全连接层；(3)对基于特征增强的光学图像旋转目标检测网络模型进行迭代训练：(3a)初始化迭代次数为w，最大迭代次数为W，W≥10000，并令w＝1；(3b)将从训练样本集随机选取的b个训练样本作为光学图像旋转目标检测网络模型的输入进行前向传播，主干网络中的特征提取子网络对每个训练样本的所有目标进行特征提取，特征增强子网络对特征提取子网络所提取的特征进行合并后，对合并后的特征进行卷积融合，得到融合后的语义特征和位置特征，检测网络中的定位子网络利用融合后的位置特征计算目标预测边界框，分类子网络利用融合后的语义特征计算目标预测类别，其中，b
≥10；(3c)定位子网络采用Smoothl1函数，并通过目标的预测边界框和目标的边界框位置标签计算目标的位置损失值L1，分类子网络采用交叉熵函数，并通过目标的预测类别置信度和目标的类别标签计算目标的类别置信度损失值L2，然后采用随机梯度下降法，并通过L1与L2的和对主干网络和检测网络中的卷积核权重参数ω
w
和全连接层结点之间的连接权重参数θ
w
进行更新；(3d)判断w＝W是否成立，若是，得到训练好的基于特征增强的光学图像旋转目标检测网络模型，否则，令w＝w+1，并执行步骤(3b)；(4)获取光学图像旋转目标的自适应检测结果：(4a)将测试样本中的每幅光学子图像作为训练好的基于特征增强的光学图像旋转目标检测网络的输入，进行目标的边界框位置和目标的类别置信度检测，得到中所有目标的边界框位置和类别置信度，并滤除目标类别置信度中低于置信度阈值λ的目标边界框位置和类别置信度，得到过滤后的目标边界框位置和类别置信度，然后...

【专利技术属性】
技术研发人员：侯彪，程自华，刘佳丽，邬子同，李中华，焦李成，马文萍，马晶晶，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：