一种基于深度学习的复杂背景下典型目标检测方法及系统技术方案

本发明专利技术公开一种基于深度学习的复杂背景下典型目标检测方法及系统，所述方法包括：收集包含典型目标的图像数据并进行预处理，制作数据集；通过backbone网络、双向多尺度特征融合网络、基于注意力机制的多特征选择模块、分类子网络和回归子网络构建目标检测网络模型；基于分类任务和回归任务设计损失函数，通过所述数据集训练和测试目标检测网络模型；通过测试后的目标检测网络模型对待测图像进行典型目标检测。本发明专利技术能够精确检测多尺度典型目标，并进行角度预测。并进行角度预测。并进行角度预测。

【技术实现步骤摘要】
一种基于深度学习的复杂背景下典型目标检测方法及系统


[0001]本专利技术属于目标检测
，尤其涉及一种基于深度学习的复杂背景下典型目标检测方法、系统、设备及存储介质。

技术介绍

[0002]目标检测技术是计算机视觉的一个重要研究方向，被广泛应用于环境管理、区域规划、以及军事上。对飞机，船舶，存储罐，桥梁，小型车辆，大型车辆等典型目标进行高精度预测具有重要意义。
[0003]目标检测技术一般可以分为两种，传统图像处理与机器学习结合的检测算法和基于深度卷积神经网络(CNN)的算法。前者主要是手动设计特征，在检测复杂图像目标时效果欠佳。近今年来深度学习迅猛发展，基于深度学习的目标检测算法取得巨大成功。基于深度学习的目标检测算法主要可以分为两类，One
‑
stage和Two
‑
stage，两者最大的区别是Two
‑
stage会首选生成建议目标候选区域(Region Proposal)，然后再把这些目标候选区域送到分类和回归网络中进行分类和回归。最典型的Two
‑
stage算法是Faster R
‑
CNN。One
‑
stage则省略了生成建议候选区域这一步骤，因此其检测速度更快，但是精度更低。典型的One
‑
stage算法有YOLO系列、RetinaNet等。
[0004]但是这些主流的目标检测算法没有考虑图像复杂背景对目标检测精度的影响，对整个图像上都给予相同的注意力，不符合人类视觉系统的特点。比如飞机，船舶，存储罐，港口，桥梁，小型车辆，大型车辆这些典型目标尺度范围变化大，单尺度特征图也不能很好的对其进行特征表达。此外，有些影像如无人机航空影像，因为其拍摄视角的特殊性，目标具有任意方向性，因此需要对其的角度进行预测。

技术实现思路

[0005]有鉴于此，本专利技术提出了基于深度学习的复杂背景下典型目标检测方法、系统、设备及存储介质，用于解决现有图像目标检测中复杂的图像背景严重影响目标检测效果的问题。
[0006]本专利技术第一方面，公开一种基于深度学习的复杂背景下典型目标检测方法，所述方法包括：
[0007]收集包含典型目标的图像数据并进行预处理，制作数据集；
[0008]通过backbone网络、双向多尺度特征融合网络、基于注意力机制的多特征选择模块、分类子网络和回归子网络构建目标检测网络模型；
[0009]基于分类任务和回归任务设计损失函数，通过所述数据集训练和测试目标检测网络模型；
[0010]通过测试后的目标检测网络模型对待测图像进行典型目标检测。
[0011]优选的，所述典型目标包括但不限于飞机、船舶、存储罐、桥梁、小型车辆、大型车辆。
[0012]优选的，所述目标检测网络模型中，将backbone网络与双向多尺度融合特征网络进行融合，组成特征融合网络，用于进行多尺度融合特征图提取，多尺度融合特征图提取的具体步骤包括：
[0013]利用backbone网络提取图像的特征图；
[0014]对特征图进行自上而下路径的特征融合，得到同时包含低层细节信息和高层语义信息的融合特征图；
[0015]对融合特征图进行自下而上路径的特征融合，以控制浅层特征传递到高层过程中的特征损失，得到多尺度融合特征图。
[0016]优选的，所述目标检测网络模型中，利用基于注意力的多特征选择模块对多尺度融合特征图进行分类特征选择和回归特征选择，得到分别用于分类和回归的特征图；基于注意力的多特征选择模块的输入是特征融合网络输出的多尺度融合特征图P
i
'(i＝3,4,5,6,7)，网络的输出是与输入维度相同的一系列特征图D
i
(i＝3,4,5,6,，其处理过程如下公式所示：
[0017]A
i
＝σ[φ
i
(P
i
')][0018]D
i
＝A
i
⊙
P
i
'+P
i
'
[0019]φ(P
i
')为P
i
'通过四层3
×
3的卷积得到，σ为Sigmoid函数，A
i
为元素在0～1之间的矩阵，
⊙
表示矩阵对应元素相乘计算。
[0020]优选的，所述分类任务包括两个，对anchor box所属目标类别进行分类、对anchor box的角度进行分类；所述回归任务包括对anchor box的中心点(x,y)、宽度w、高度h进行回归。
[0021]优选的，对anchor box的角度进行分类的具体处理过程为：
[0022]将角度预测当作分类问题，将角度分为180个类别；
[0023]采用圆形平滑标签CSL对角度类别标签分布向量进行平滑处理，CSL如下式表示：
[0024][0025]上式中r是窗半径，θ是当前Ground Truth的角度，g(x)是窗函数。
[0026]优选的，所述基于分类任务和回归任务设计损失函数具体包括：
[0027]采用Focal loss作为目标类别分类损失函数L
cls
；
[0028]采用Focal loss作为角度分类损失函数L
cls_θ
；
[0029]Smooth L1 loss作为回归损失函数L
reg
；
[0030]总的损失函数如下所示：
[0031][0032]上式中，N代表目标检测网络模型产生的anchor box的数量，t'
n
∈{0,1}，当t'
n
＝0时代表背景，当t'
n
＝1时代表前景；V'
nj
代表预测的偏移向量；V
nj
代表真实的偏移向量；t
n
代表目标类别标签，p
n
是目标属于不同类别的概率；θ
n
'为角度类别标签，θ
n
是角度属于不同类别的概率，λ1和λ2是权重因子。
[0033]本专利技术第二方面，公开一种基于深度学习的复杂背景下典型目标检测系统，所述
系统包括：
[0034]数据准备模块：收集包含典型目标的图像数据并进行预处理，制作数据集；
[0035]模型构建模块：通过backbone网络、双向多尺度特征融合网络、基于注意力机制的多特征选择模块、分类子网络和回归子网络构建目标检测网络模型；
[0036]模型训练模块：基于分类任务和回归任务设计损失函数，通过所述数据集训练和测试目标检测网络模型；
[0037]目标检测模块：通过测试后的目标检测网络模型对待测图像进行典型目标检测。
[0038]本专利技术第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的复杂背景下典型目标检测方法，其特征在于，所述方法包括：收集包含典型目标的图像数据并进行预处理，制作数据集；通过backbone网络、双向多尺度特征融合网络、基于注意力机制的多特征选择模块、分类子网络和回归子网络构建目标检测网络模型；基于分类任务和回归任务设计损失函数，通过所述数据集训练和测试目标检测网络模型；通过测试后的目标检测网络模型对待测图像进行典型目标检测。2.根据权利要求1所述基于深度学习的复杂背景下典型目标检测方法，其特征在于，所述典型目标包括但不限于飞机、船舶、存储罐、桥梁、小型车辆、大型车辆。3.根据权利要求1所述基于深度学习的复杂背景下典型目标检测方法，其特征在于，所述目标检测网络模型中，将backbone网络与双向多尺度融合特征网络进行融合，组成特征融合网络，用于进行多尺度融合特征图提取；多尺度融合特征图提取的具体步骤包括：利用backbone网络提取图像的特征图；对特征图进行自上而下路径的特征融合，得到同时包含低层细节信息和高层语义信息的融合特征图；对融合特征图进行自下而上路径的特征融合，以控制浅层特征传递到高层过程中的特征损失，得到多尺度融合特征图。4.根据权利要求3所述基于深度学习的复杂背景下典型目标检测方法，其特征在于，所述目标检测网络模型中，利用基于注意力的多特征选择模块对多尺度融合特征图进行分类特征选择和回归特征选择，得到分别用于分类和回归的特征图；基于注意力的多特征选择模块的输入是特征融合网络输出的多尺度融合特征图P
i
',i＝3,4,5,6,7，输出是与输入维度相同的一系列特征图D
i
,i＝3,4,5,6,7，其处理过程如下公式所示：A
i
＝σ[φ
i
(P
i
')]D
i
＝A
i
⊙
P
i
'+P
i
'φ(P
i
')为P
i
'通过四层3
×
3的卷积得到，σ为Sigmoid函数，A
i
为元素在0～1之间的矩阵，
⊙
表示矩阵对应元素相乘计算。5.根据权利要求1所述基于深度学习的复杂背景下典型目标检测方法，其特征在于，所述分类子网络的分类任务包括两个，对anchor box所属目标类别进行分类、对anchor box的角度进行分类；所述回归子网络的回归任务包括对anchor b...

【专利技术属性】
技术研发人员：韩金波，袁理，韩鲁诚，李增非，
申请(专利权)人：武汉泰沃滋信息技术有限公司，
类型：发明
国别省市：