一种基于改进轻量YOLOv4的遥感图像目标检测方法技术

本发明专利技术公开了一种基于改进轻量YOLOv4的遥感图像目标检测方法，属于无人机航拍遥感图像的目标检测技术领域，包括以下步骤：对遥感数据集进行格式转换；按比例将转换后的遥感数据集划分；对骨干网络进行改进，对骨干网络的低层和高层的输入特征图分别进行Haar小波变换，通过Ghost模块对高频特征进行卷积融合，将融合后的特征与普通卷积对特征图提取的特征相加；对Neck进行改进，在FPN前、改进的骨干网络的最后一个残差结构后的两个分支上引入坐标注意力；设置训练参数，得到并保存权重数据；选取验证集损失函数最小的模型训练权重载入到网络中，用测试集进行测试。本发明专利技术能够提高无人机航拍遥感图像的目标检测精度和实时性。无人机航拍遥感图像的目标检测精度和实时性。无人机航拍遥感图像的目标检测精度和实时性。

【技术实现步骤摘要】
一种基于改进轻量YOLOv4的遥感图像目标检测方法


[0001]本专利技术涉及无人机航拍遥感图像的目标检测
，尤其是一种基于改进轻量YOLOv4的遥感图像目标检测方法。

技术介绍

[0002]随着无人机技术的高速发展，无人机在人们的生活中随处可见，无人机航拍的遥感图像广泛应用于道路缺陷检测、城市规划、资源勘探、农作物检测、军事侦察等领域。遥感图像也随无人机技术而飞速发展，空间分辨率越来越高，光谱分辨率越来越高，而处理遥感图像的检测方法却相对落后。因此，针对无人机航拍遥感图像的目标检测技术也逐渐成为计算机视觉领域的重要研究内容之一。遥感图像的分辨率较高，包含的信息较多，但小目标的分辨率依然很低，信息有限，检测较困难。遥感图像往往存在曝光度高、背景复杂等问题，这导致目标的特征信息模糊化，对于目标的检测较困难。而且无人机机载处理器算力低、显存小且实时性要求高，2021年本专利技术人提出的中国专利技术专利《一种基于SSD改进方法的无人机航拍目标检测方法》(CN202011580609.2)，改进网络用七个有效特征层检测物体，检测物体效果更好以及增加检测广度；改进后SSD，引入模拟人类视觉的感受野RFB模块，增强网络的特征提取能力，与现有技术相比，精度和检测数量有了明显的提升，更具实用性。然而，该专利申请中的方法模型参数量和计算量巨大，实时性较低。
[0003]针对上述问题，由于目前先进的目标检测方法的参数量和计算量巨大会使其检测速度大打折扣，实时性较差，不适合无人机进行实时目标检测。而轻量级目标检测方法的模型虽然检测精度有所下降，但其参数量和计算量都较低，实时性较高，适合无人机进行实时地目标检测。

技术实现思路

[0004]本专利技术需要解决的技术问题是提供一种基于改进轻量YOLOv4的遥感图像目标检测方法，能够提高无人机航拍遥感图像的目标检测精度和实时性。
[0005]为解决上述技术问题，本专利技术所采用的技术方案是：
[0006]一种基于改进轻量YOLOv4的遥感图像目标检测方法，包括以下步骤：
[0007]S1、对遥感数据集进行格式转换；
[0008]S2、按比例将转换后的遥感数据集划分为训练集、验证集和测试集；
[0009]S3、对YOLOv4
‑
tiny的骨干网络进行改进，对骨干网络的低层和高层的输入特征图分别进行Haar小波变换，以提取特征图的高频特征，通过Ghost模块对高频特征进行卷积融合，将融合后的特征与普通卷积对特征图提取的特征相加，得到改进的骨干网络；
[0010]S4、对YOLOv4
‑
tiny的Neck进行改进，在FPN前、改进的骨干网络的最后一个残差结构后的两个分支上引入坐标注意力，得到改进的Neck，坐标注意力是基于SE attention改进的通道注意力；
[0011]S5、设置训练参数，使用训练集对模型进行迭代训练，得到并保存遥感图像目标检
测模型权重数据；
[0012]S6、训练结束后，选取验证集损失函数最小的模型训练权重载入到网络中，用测试集进行测试，得到网络的检测性能。
[0013]本专利技术技术方案的进一步改进在于：S1中，将原遥感数据集的数据格式转换成VOC格式。
[0014]本专利技术技术方案的进一步改进在于：S2中，训练验证集包括训练集和验证集，训练验证集和测试集在数据集中的划分比例为9:1，训练集和验证集在训练验证集中的划分比例为9:1。
[0015]本专利技术技术方案的进一步改进在于：S3中，对原YOLOv4
‑
tiny的Backbone进行改进：利用Haar小波变换对特征图进行2倍下采样，先对特征图的水平方向进行一维Haar离散分解，再对分解后特征图的竖直方向进行一维Haar离散分解，得到{LL、LH、HL、HH}4个分量，其中，LL表示低频特征，包含图像的轮廓特征信息，{LH、HL、HH}均表示高频特征，分别包含图像的垂直、水平、对角边缘方向上的特征信息；对输入特征图进行Haar小波变换后的尺寸是输入特征图的1/2；将Ghost卷积融合后的高频特征与普通卷积后的特征图相加，以在特征图上得到更细节的特征，加强了对目标的定位和分类。
[0016]本专利技术技术方案的进一步改进在于：S3中，具体包括以下步骤：
[0017]S3.1将Haar小波变换应用在骨干网络的底层特征图上，对原始输入图像进行Haar小波变换，将得到的高频特征叠加，将叠加后的特征记为Haar_H，Haar_H∈R^(3C
×
H/2
×
W/2)，其中，R为实数集，C为通道数，H为特征图的宽，W为特征图的长，其公式如下：
[0018]Haar_H＝Concatenate(LH，HL，HH)；
[0019]其中，Concatenate表示将不同特征图进行叠加；
[0020]对叠加后的高频特征通过Ghost模块进行卷积融合以学习高频特征的各方向上的权重并调整其通道数。
[0021]S3.2将Haar小波变换应用在骨干网络的顶层特征图上，对骨干网络的最后一个残差结构进行Haar小波变换，将Haar变换得到的3个高频特征叠加，然后通过3个轻量的Ghost模块对叠加的高频特征进行卷积融合，将融合后特征记为x_H，公式如下：
[0022]x_H＝Ghost(Ghost(Ghost(Haar_H2)))；
[0023]其中，Ghost代表Ghost卷积运算，Ghost卷积分两步进行，首先通过常规卷积得到一个特征图，然后对这个特征图进行恒等映射得到Ghost特征图，最后将这两个特征图叠加在一起得到融合后的特征图；
[0024]S3.3将融合后的特征与FPN中第一个卷积操作得到的特征相结合，结合后的特征作为输入进行上采样操作。
[0025]本专利技术技术方案的进一步改进在于：S4中，具体包括以下步骤：
[0026]S4.1坐标信息嵌入；
[0027]使用尺寸为(H，1)和(1，W)的卷积核分别对每个通道的水平和竖直方向进行编码，其中，H为卷积核的高，W为卷积核的宽，高度h的第c维特征的输出为：
[0028][0029]宽度w的第c维特征的输出为：
[0030][0031]其中，x
c
(h,i)为输入特征图的第c维特征的水平方向，i为第i个通道，x
c
(j,w)为输入特征图的第c维特征的垂直方向，j为第j个通道；
[0032]以上两式分别将水平和竖直方向的特征进行聚合，生成一对方向感知特征图，这两个公式可以捕获一个空间方向上的远程依赖关系，并在另一个空间方向上捕获准确的位置信息，从而帮助网络有效定位感兴趣的区域；
[0033]S4.2坐标注意生成；
[0034]坐标注意力级联了以上两式生成的特征映射，然后使用1
×
1卷积变换函数F1，生成f，公式如下：
[0035]f＝δ(F1([z
h本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进轻量YOLOv4的遥感图像目标检测方法，其特征在于：包括以下步骤：S1、对遥感数据集进行格式转换；S2、按比例将转换后的遥感数据集划分为训练集、验证集和测试集；S3、对YOLOv4
‑
tiny的骨干网络进行改进，对骨干网络的低层和高层的输入特征图分别进行Haar小波变换，以提取特征图的高频特征，通过Ghost模块对高频特征进行卷积融合，将融合后的特征与普通卷积对特征图提取的特征相加，得到改进的骨干网络；S4、对YOLOv4
‑
tiny的Neck进行改进，在FPN前、改进的骨干网络的最后一个残差结构后的两个分支上引入坐标注意力，得到改进的Neck，坐标注意力是基于SE attention改进的通道注意力；S5、设置训练参数，使用训练集对模型进行迭代训练，得到并保存遥感图像目标检测模型权重数据；S6、训练结束后，选取验证集损失函数最小的模型训练权重载入到网络中，用测试集进行测试，得到网络的检测性能。2.根据权利要求1所述的基于改进轻量YOLOv4的遥感图像目标检测方法，其特征在于：S1中，将原遥感数据集的数据格式转换成VOC格式。3.根据权利要求1所述的基于改进轻量YOLOv4的遥感图像目标检测方法，其特征在于：S2中，训练验证集包括训练集和验证集，训练验证集和测试集在数据集中的划分比例为9:1，训练集和验证集在训练验证集中的划分比例为9:1。4.根据权利要求1所述的基于改进轻量YOLOv4的遥感图像目标检测方法，其特征在于：S3中，对原YOLOv4
‑
tiny的Backbone进行改进：利用Haar小波变换对特征图进行2倍下采样，先对特征图的水平方向进行一维Haar离散分解，再对分解后特征图的竖直方向进行一维Haar离散分解，得到{LL、LH、HL、HH}4个分量，其中，LL表示低频特征，包含图像的轮廓特征信息，{LH、HL、HH}均表示高频特征，分别包含图像的垂直、水平、对角边缘方向上的特征信息；对输入特征图进行Haar小波变换后的尺寸是输入特征图的1/2；将Ghost卷积融合后的高频特征与普通卷积后的特征图相加，以在特征图上得到更细节的特征，加强了对目标的定位和分类。5.根据权利要求4所述的基于改进轻量YOLOv4的遥感图像目标检测方法，其特征在于：S3中，具体包括以下步骤：S3.1将Haar小波变换应用在骨干网络的底层特征图上，对原始输入图像进行Haar小波变换，将得到的高频特征叠加，将叠加后的特征记为Haar_H，Haar_H∈R^(3C
×
H/2
×
W/2)，其中，R为实数集，C为通道数，H为特征图的宽，W为特征图的长，其公式如下：Haar_H＝Concatenate(LH，HL，HH)；其中，Concatenate表示将不同特征图进行叠加；对叠加后的高频特征通过Ghost模块进行卷积融合以学习高频特征的各方向上的权重并调整其通道数。S3.2将Haar小波变换应用在骨干网络的顶层特征图上，对骨干网络的最后一个残差结构进行Haar小波变换，将Haar变换得到的3个高频特征叠加，然后通过3个轻量的Ghost模块对叠加的高频特征进行卷积融合，将融合后特征记为x_H，公式如下：x_H＝Ghost(Ghost(Ghost(Haar_H2)))；
其中，Ghost代表Ghost卷积运算，Ghost卷积分两步进行，首先通过常规卷积得到一个特征图，然后...

【专利技术属性】
技术研发人员：李国强，路金铭，
申请(专利权)人：燕山大学，
类型：发明
国别省市：