一种基于深度学习的无人机航拍图像中的船舶检测方法技术

本发明专利技术公开了一种基于深度学习的无人机航拍图像中的船舶检测方法。首先，采集包含军用舰船和民用船只的无人机航拍图像并进行标注，获得船舶数据库；然后，将获得的船舶数据库送入深度学习网络进行训练，直至网络收敛；最后，利用训练好的深度学习网络和权重文件来检测无人机航拍图像中的船舶目标，并输出检测结果。本发明专利技术具有较好的精确性和鲁棒性，有效地解决了无人机航拍图像中的小目标检测问题，同时也解决了传统图像处理算法中实现船舶检测的环境干扰，光照影响和精确率低的问题，可以适用于不同场景下的船舶检测。

A Ship Detection Method Based on Deep Learning in UAV Aerial Images

The invention discloses a ship detection method in UAV aerial image based on depth learning. Firstly, UAV aerial images including military and civilian vessels are collected and tagged to obtain the ship database. Then, the acquired ship database is sent to the depth learning network for training until the network converges. Finally, the trained depth learning network and weight files are used to detect the ship targets in UAV aerial images and output the detection results. The invention has better accuracy and robustness, effectively solves the problem of small target detection in UAV aerial photograph image, and also solves the problems of environmental interference, low illumination effect and accuracy in traditional image processing algorithm for ship detection, and can be applied to ship detection in different scenarios.

【技术实现步骤摘要】
一种基于深度学习的无人机航拍图像中的船舶检测方法
本专利技术属于计算机视觉
，特别涉及了一种基于深度学习的无人机航拍图像中的船舶检测方法。
技术介绍
随着社会经济的发展，交通事业在迅速发展，船舶在数量、吨位和航速上逐年增长，船舶碰撞、船舶撞桥等事故发生的频率也越来越高。由于航海事故造成的人员伤亡、财产损失以及环境破坏相当惊人；更加重要的是，随着工业科技的迅猛发展，民用船只和军用船舰的区分识别关系着国家安全和人民安全问题，尤其在对海上外来船只的精确定位。船舶的检测可以被广泛应用于军用、民用的各领域，在陆地资源调查、海洋勘探、军事侦查、打击分析和评估等方面发挥着重要作用。同时，随着空、天平台数据获取能力的日益增强，利用无人机技术进行船舶目标检测和识别受到越来越多的重视。船舶的精确定位和识别，可以用于检测监视船舶，在船舶的安全航行和避碰中发挥积极的作用，并可以为水面航道提供更加可靠的数据。在现代高技术条件下的战争中，尽早对有严重威胁的军事目标进行探测和识别也是非常重要的。现有船舶检测算法主要有基于特征的船舶检测算法、基于视觉的船舶检测算法、基于帧间差分的船舶检测算法和基于深度学习的船舶检测算法等。其中基于视觉和帧间差分的船舶检测算法主要用于运动船舶检测，而基于特征的船舶检测算法更常用于静态图像检测，而基于深度学习的船舶检测算法则适用于运动和静态的船舶检测。目前，对于基于特征的船舶检测算法通常需要图像预处理、图像特征提取、图像分类等步骤。汪闽等人在高分辨率遥感图像上对大型船舶进行自动识别与提取，文章结合港口形状特征，根据船舶的不同运行状态，设计了不同的算法进行提取，但是该方法对于大型船舶且形状明显的船舶检测效果好，但是不适用于图像中的小目标船舶。彭晶晶等人对航拍监控视频提出一种多运动目标的检测跟踪算法。首先，对提取的图像序列进行滤波预处理去除噪声，再利用隔帧帧差法检测目标；随后进行形态学操作以及连通域的分析，以克服帧差法对于较长目标或者较慢运动目标检测中间出现的空洞及不准确的缺陷；最后利用提取的船体特征应用Kalman滤波对其跟踪。该方法能有效解决多目标的遮挡问题，有较强的鲁棒性与应用性。不过该方法只是针对运动船舶，对于静止或航行很慢的船舶无法很好捕捉。刘进等人提出了一种基于多尺度特征簇的舰船目标快速定位与识别方法，借鉴Canny边缘检测与图像金子塔及最小生成树聚类算法的思想，设计了一套可适应目标多尺度特性并提高Canny边缘检测自适应性的“特征簇”目标定位算法，结合概率树分类器与二维主成分分析算，可对多视角、多目标类型舰船目标进行识别，并根据全概率公式评估识别结果，对于图像中的大目标来说，该方法效果不错，如果舰船只占了图像的几个像素，那么检测效果不是非常理想。
技术实现思路
为解决现有船舶检测算法过度依赖图像的光照、质量的问题以及解决无人机航拍图像中船舶所占像素比较少的问题，让船舶检测具有更好的适应性和可应用性，本专利技术提供一种基于深度学习的无人机航拍图像中的船舶检测方法。为了实现上述技术目的，本专利技术的技术方案为：一种基于深度学习的无人机航拍图像中的船舶检测方法，包括以下步骤：(1)采集包含军用舰船和民用船只的无人机航拍图像并进行标注，获得船舶数据库；(2)将步骤(1)获得的船舶数据库送入深度学习网络进行训练，直至网络收敛；(3)利用步骤(2)训练好的深度学习网络和权重文件来检测无人机航拍图像中的船舶目标，并输出检测结果。进一步地，步骤(1)的具体步骤如下：(A1)采集用于训练深度学习网络的包含船舶的无人机航拍图像；(A2)将采集到的图像进行数据预处理；(A3)将预处理后的图像用矩形框进行标注，获取矩形框的坐标以及矩形框内所包含船舶的种类，最终得到船舶数据库。进一步地，在步骤(A2)中，所述数据预处理包括丢掉不包含船舶目标的图像以及船舶目标显示不到一半的图像。进一步地，在步骤(A3)中需要标注两类数据：军用舰船和民用船只，首先采用浮点型数据格式记录矩形框的位置信息，然后转换成改进的深度学习网络需要的数据格式。进一步地，步骤(2)中所述深度学习网络为改进的YOLT网络，改进的YOLT网络的结构如下表所示：训练数据或测试数据从第0层卷积层输入网络，依次经过0,1,2,…,28层处理，最终从第28层卷积层输出；其中，在第12层Passthrough层，将第6层卷积层与第11层池化层连接起来，然后输入到第13层卷积层；在第26层Passthrough层，将第17层卷积层与第25层卷积层连接起来，然后输入到第27层卷积层。进一步地，所述改进的YOLT网络采用anchorboxes机制，使用7个anchors，且利用k-means均值方法获取anchors大小。进一步地，步骤(2)的具体步骤如下：(B1)将船舶数据库送入深度学习网络，选取ImageNet数据库训练好的深度学习模型作为基本网络模型，训练开始的学习率为0.0001，之后调整深度学习网络的参数steps来改变学习率；(B2)将船舶数据库中的图像随机缩放到固定尺寸，得到训练图像；(B3)将训练图像分割成n*n个网格，每个网格预测7个边界框；(B4)将训练图像送入深度学习网络中，经过卷积层、池化层、Passthrough层后输出卷积特征图；(B5)用输出的卷积特征图采用卷积作预测，在卷积特征图上进行滑窗采样，根据步骤(B3)，每一个网格预测7个不同大小的边界框，最终会预测n*n*7个边界框，每个边界框回归位置、置信度和类别信息，然后根据计算出的损失函数值，通过反向传播来调整权重；(B6)当到达最大迭代次数时或损失函数值达到了收敛状态时结束训练，获得最终用于船舶检测的深度学习网络和权重文件。进一步地，在步骤(B2)中，缩放至固定尺寸M*M，M∈[320,608]，且步长为32；在步骤(B3)中，n∈[10,19]。进一步地，在步骤(B5)中，损失函数值的计算方法如下：设置一个阈值a，当平均有目标权重值avg_obj小于阈值a时，lossnew＝lossold/(avg_obj+0.001)，否则lossnew＝lossold，其中，lossold是原YOLT网络的损失函数，lossnew是改进的YOLT网络的损失函数。进一步地，步骤(3)的具体步骤如下：(C1)将待检测的航拍图像送入训练好的深度学习网络中，按照步骤(B2)将航拍图像缩放到固定尺寸，重复步骤步骤(B3)、(B4)，输出最终的特征图；(C2)用最终的特征图采用卷积作预测，在卷积特征图上进行滑窗采样，最终会预测n*n*7个边界框，每个边界框回归位置、置信度和类别信息；(C3)设置一个阈值，过滤掉得分低的边界框，对保留下来的边界框进行非极大值抑制处理，之后通过分类器得到最终的检测结果，从而实现船舶的精确定位与识别。采用上述技术方案带来的有益效果：本专利技术减少了复杂的图像预处理过程，降低了图像的质量的要求，算法简单，检测效率高，检测精度高，实用性强，具有较好的适应性以及可靠性。本专利技术有效解决了光照变化、提取特征不丰富、目标比较小以及噪声的干扰给船舶检测带来的影响。附图说明图1是本专利技术总体流程图；图2是本专利技术中采集过程流程图；图3是本专利技术中训练过程流程图；图4是本专利技术中检测过程流程图；图5是实施例中输本文档来自技高网...

【技术保护点】
1.一种基于深度学习的无人机航拍图像中的船舶检测方法，其特征在于，包括以下步骤：(1)采集包含军用舰船和民用船只的无人机航拍图像并进行标注，获得船舶数据库；(2)将步骤(1)获得的船舶数据库送入深度学习网络进行训练，直至网络收敛；(3)利用步骤(2)训练好的深度学习网络和权重文件来检测无人机航拍图像中的船舶目标，并输出检测结果。

【技术特征摘要】
1.一种基于深度学习的无人机航拍图像中的船舶检测方法，其特征在于，包括以下步骤：(1)采集包含军用舰船和民用船只的无人机航拍图像并进行标注，获得船舶数据库；(2)将步骤(1)获得的船舶数据库送入深度学习网络进行训练，直至网络收敛；(3)利用步骤(2)训练好的深度学习网络和权重文件来检测无人机航拍图像中的船舶目标，并输出检测结果。2.根据权利要求1所述基于深度学习的无人机航拍图像中的船舶检测方法，其特征在于，步骤(1)的具体步骤如下：(A1)采集用于训练深度学习网络的包含船舶的无人机航拍图像；(A2)将采集到的图像进行数据预处理；(A3)将预处理后的图像用矩形框进行标注，获取矩形框的坐标以及矩形框内所包含船舶的种类，最终得到船舶数据库。3.根据权利要求2所述基于深度学习的无人机航拍图像中的船舶检测方法，其特征在于，在步骤(A2)中，所述数据预处理包括丢掉不包含船舶目标的图像以及船舶目标显示不到一半的图像。4.根据权利要求2所述基于深度学习的无人机航拍图像中的船舶检测方法，其特征在于，在步骤(A3)中需要标注两类数据：军用舰船和民用船只，首先采用浮点型数据格式记录矩形框的位置信息，然后转换成改进的深度学习网络需要的数据格式。5.根据权利要求1所述基于深度学习的无人机航拍图像中的船舶检测方法，其特征在于，步骤(2)中所述深度学习网络为改进的YOLT网络，改进的YOLT网络的结构如下表所示：训练数据或测试数据从第0层卷积层输入网络，依次经过0,1,2,…,28层处理，最终从第28层卷积层输出；其中，在第12层Passthrough层，将第6层卷积层与第11层池化层连接起来，然后输入到第13层卷积层；在第26层Passthrough层，将第17层卷积层与第25层卷积层连接起来，然后输入到第27层卷积层。6.根据权利要求5所述基于深度学习的无人机航拍图像中的船舶检测方法，其特征在于，所述改进的YOLT网络采用anchorboxes机制，使用7个anchors，且利用k-means均值方法获取anchors大小。7.根据权利要求1所述基于深度学习的无人机航拍图像中的船舶检测方法，其特征在于，步骤(2)的具体步骤如下：(B1)将船舶数据库送...

【专利技术属性】
技术研发人员：孙涵，耿文，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32