基于卷积神经网络的无人机航拍影像中的船舶检测方法技术

本发明专利技术公开了一种基于卷积神经网络的无人机航拍影像中的船舶检测方法，包括以下步骤：步骤1，构建YOLO格式的无人机航拍影像船舶数据集；步骤2，将步骤1中构建的船舶数据集送入改进的YOLOv5s网络进行船舶检测模型训练；步骤3，使用步骤2训练出的模型文件进行船舶目标检测。本发明专利技术采用上述基于卷积神经网络的无人机航拍影像中的船舶检测方法，能够解决现有船舶检测算法精准度不足以及检测速度较慢的问题，让船舶检测具备更高的效率。让船舶检测具备更高的效率。让船舶检测具备更高的效率。

【技术实现步骤摘要】
基于卷积神经网络的无人机航拍影像中的船舶检测方法


[0001]本专利技术涉及计算机视觉
，尤其是涉及一种基于卷积神经网络的无人机航拍影像中的船舶检测方法。

技术介绍

[0002]随着图像处理技术以及无人机技术的快速发展，使用无人机上搭载的高清摄像头对水道船舶进行监控逐渐成为一种有效的船舶检测手段。相比于固定的近岸监控摄像头，无人机具有更高的灵活度以及更广阔的视野，因此单位水域面积的监控成本更低。但无人机影像的背景复杂且在高速运动的过程中可能产生运动模糊，船舶识别的难度更大，且本地计算资源匮乏，无法部署复杂的深度学习模型，因此实现快速、精准的船舶检测就显得尤为重要。
[0003]在早期，船舶检测大多使用传统图像处理技术，即基于人工构建的特征设计船舶检测器，如P. Viola 和 M. Jones VJ提出的VJ检测器、N. Dalal和B.Triggs提出的HOG检测器以及P. Felzenszwalb提出的DPM检测器，这些检测器在面对复杂背景以及图像噪声较大的场景时会经常失效，不具备良好的鲁棒性。
[0004]而基于深度学习的船舶检测器大多以卷积神经网络为基础，很好地解决了传统船舶检测器中存在的问题。在深度学习时代目标检测器大致分为了两大类别：“一阶段目标检测器”和“两阶段目标检测器”。“两阶段目标检测器”首先会从输入图像上生成一些候选区域，再由候选区域得到预测值，是一个由模糊到精确的过程，其中具有代表性的一些算法有R
‑
CNN、SPP、Fast R
‑
CNN、Faster R
‑
CNN以及FPN等。“一阶段目标检测器”则是一步完成，直接从输入图像得到预测值，其中具有代表性的算法有YOLO、SSD、Retina
‑
Net等。由于一阶段检测器往往拥有更快的检测速度，满足船舶检测对实时性的要求，因此本专利技术基于一阶段目标检测器。
[0005]Zhenfeng Shao等人首次将卷积神经网络（CNN）用于船舶检测的监控视频中，他们基于YOLO
‑
v2模型提出了一种显著预测的CNN框架，首先利用CNN进行粗略预测再通过显著性检测进行细化，此外他们还提出了海岸线分割法用于缩小检测范围，提高检测效率。Zhijun Chen等人通过改进GMWGAN
‑
GP和YOLO
‑
v2算法提出了一种基于生成对抗网络和卷积神经网络的小型船舶检测方法，明显改善了网络对小型船舶的检测准确率。他们使用基于密度的带噪声应用空间聚类（DBSCAN）代替k
‑
means聚类来生成锚框，使用带有梯度惩罚的高斯混合wgan进行数据增强。但这些基于YOLOv2的方法的检测效率不高，即速度慢，精度低。RyanWen Liu等人针对YOLO
‑
v3模型进行改进提出了增强的卷积神经网络用于改善不同天气下的船舶检测性能，他们重新设计了YOLO锚框的大小、引入了Soft NMS并重新设计了损失函数，提升了网络的学习能力，并通过一系列数据增强策略使得模型对于恶劣天气下检测的鲁棒性。但在NVIDIA 1080Ti GPU上，对于608*608的输入分辨率，他们所提出模型的检测速度为30帧/秒（FPS），检测速度仍然较慢。ShipYOLO是一种基于YOLOv4的增强模型，也是为监控视频中的船舶检测而设计的。ShipYOLO有三个主要的改进，包括骨干结构的重参
数化，多尺度特征融合中加入注意力机制，和在空间金字塔池化中使用空洞卷积。在NVIDIA1080Ti显卡上，对于512*512分辨率的输入图像，ShipYOLO实现了每秒47帧（FPS）的检测速度，但这对于无人机等计算资源不足的设备来说仍然不够快。Zhang等人通过改进YOLOv5提出了YOLOv5
‑
dn用于海上船舶检测和分类。YOLOv5
‑
dn是通过在YOLOv5模型中引入CSP
‑
DenseNet结构来实现的，目的是优化检测精度。但该模型并不考虑检测速度这一指标，因此导致效率低下。

技术实现思路

[0006]本专利技术的目的是提供一种基于卷积神经网络的无人机航拍影像中的船舶检测方法，解决上述
技术介绍
中提出的问题。
[0007]为实现上述目的，本专利技术提供了一种基于卷积神经网络的无人机航拍影像中的船舶检测方法，包括以下步骤：步骤1，构建YOLO格式的无人机航拍影像船舶数据集；步骤2，将步骤1中构建的船舶数据集送入改进的YOLOv5s网络进行船舶检测模型训练；步骤3，使用步骤2训练出的模型文件进行船舶目标检测。
[0008]优选的，步骤1中，步骤11，使用Python脚本从MS
‑
COCO以及Pascal VOC数据集中提取所有包含船舶实例的图像及对应的标注；步骤12，使用Python脚本对数据集进行清理，去除所有无效的标签及其对应的同名图像，并将所有的标注转换为YOLO格式；步骤13，对数据集进行人工筛选，保留具有无人机视角的船舶图像及其标注文件；步骤14，在数据集中加入额外采集的无人机航拍船舶图像并以YOLO格式进行标注，将所有的数据以7：1：2划分为训练集、验证集以及测试集。
[0009]优选的，步骤2中，首先输入图像的分辨率被缩放为640
×
640，然后输入图像依次被改进YOLOv5s的主干网络、颈部网络与头部网络进行处理，最后得到最终的检测结果。
[0010]优选的，相比于原始的YOLOv5s网络，改进的YOLOv5s网络在第1层使用ODConv模块，改进的YOLOv5s网络在第6层使用ConvNeXt模块替换原始的C3模块。
[0011]优选的，改进YOLOv5s网络第1层中的ODConv中采用两组卷积滤波器线性加权组成的全方位动态卷积，即：；其中为输入特征，为输出特征，和分别代表两组不同的卷积滤波器，、、、分别代表整组卷积滤波器域、输出通道域、输入通道域和卷积核空间域上可学习的权重，代表在不同维度上的加权操作，
“”
代表卷积操作。
[0012]优选的，改进YOLOv5s网络第1层中的ODConv中将带温度的SoftMax替换为普通的SoftMax，即将温度设置为1。
[0013]优选的，步骤2的训练过程中设置训练轮数为500轮；批的大小为32，即每次将32张图片输入网络进行训练；输入图像的分辨率设置为640
×
640；初始的学习率设置为0.01，最
后一轮的学习率为0.0005。
[0014]优选的，步骤3中，利用已训练好的网络模型对无人机拍摄的船舶目标进行检测，得到每个船舶实例的边界框坐标、所述类别以及置信度。
[0015]因此，本专利技术采用上述基于卷积神经网络的无人机航拍影像中的船舶检测方法，具有以下有益效果：1、本专利技术采用的改进的YOLOv5s算法与原始的YOLOv5s算法相比，改进的YOLOv5s算法在无人机图像的船舶检测这一任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的无人机航拍影像中的船舶检测方法，其特征在于：包括以下步骤：步骤1，构建YOLO格式的无人机航拍影像船舶数据集；步骤2，将步骤1中构建的船舶数据集送入改进的YOLOv5s网络进行船舶检测模型训练；步骤3，使用步骤2训练出的模型文件进行船舶目标检测。2.根据权利要求1所述的基于卷积神经网络的无人机航拍影像中的船舶检测方法，其特征在于：步骤1中，步骤11，使用Python脚本从MS
‑
COCO以及Pascal VOC数据集中提取所有包含船舶实例的图像及对应的标注；步骤12，使用Python脚本对数据集进行清理，去除所有无效的标签及其对应的同名图像，并将所有的标注转换为YOLO格式；步骤13，对数据集进行人工筛选，保留具有无人机视角的船舶图像及其标注文件；步骤14，在数据集中加入采集的无人机航拍船舶图像并以YOLO格式进行标注，将所有的数据以7：1：2划分为训练集、验证集以及测试集。3.根据权利要求1所述的基于卷积神经网络的无人机航拍影像中的船舶检测方法，其特征在于：步骤2中，首先输入图像的分辨率被缩放为640
×
640，然后输入图像依次被改进YOLOv5s的主干网络、颈部网络与头部网络进行处理，最后得到最终的检测结果。4.根据权利要求3所述的基于卷积神经网络的无人机航拍影像中的船舶检测方法，其特征在于：相比于原始的YOL...

【专利技术属性】
技术研发人员：吴绍华，程书晓，张行健，焦健，张钦宇，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：