一种基于深度学习的卫星图像中船舶识别与分割方法技术

本发明专利技术涉及一种基于深度学习的卫星图像中船舶识别与分割方法，该方法基于改进的Xception和改进的U

【技术实现步骤摘要】
一种基于深度学习的卫星图像中船舶识别与分割方法


[0001]本专利技术涉及计算机视觉领域，尤其是涉及一种基于深度学习的卫星图像中船舶识别与分割方法。

技术介绍

[0002]目前随着人类对海洋的掌握和逐渐开发利用，海洋对于人类整体的重要性愈发增强。而利用海洋的重要前提之一就是对海洋进行监测和管控，而在对海洋监测时最重要的任务就是对在海上航行的船舶进行监测。虽然巡逻系统和雷达系统、监控系统的存在一定程度上缓解了这个问题，但巡逻系统的成本过高；雷达系统受船只数量、海况影响较大；视频监控系统在天气状况差和离岸较远时效果不佳。
[0003]为了弥补已有方法的不足，更好地满足实际使用中的需求，在深度学习的方法日趋成熟，应用领域愈加广泛的背景下，对于船舶进行无人化、智能化的图像识别和图像分割成为现实，经过检索中国专利公开号CN 111738112A公开了一种基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法，该方法首先对数据集进行预处理，提高了模型的泛化能力；然后将数据输入特征提取网络提取特征；为了实现对长宽比大的遥感船舶的检测，在RPN阶段，重新设置多角度的锚点框，获得“旋转边界框”；修改NMS算法，根据船只之间的角度相似关系通过循环神经网络融合自注意力机制输出重新计分的置信度，使候选区域的筛选更加准确；最后将预测框送入Fast R-CNN网络，对候选区域中目标的类别进行分类和对目标的坐标进行回归。但是该方法存在以下缺陷：
[0004]1)self-attention机制需要针对向量化后序列的任意两个元素间计算相似度，极大地增大了算法的时间和空间复杂度，也使得self-attention机制无法处理向量化后较长的序列，故此方法无法处理尺寸较大的图像。
[0005]2)self-attention机制需要耗费大量计算和内存，在图像尺寸非极小情况下速度较慢。
[0006]3)经过Fast R-CNN得到的目标检测结果得到的对应检测框，包含了图片中船只周围的无用图像信息，加大了噪声比例，不利于图像后续的其他应用。
[0007]4)需要的标注信息较复杂，包括锚点坐标和角度参数等，加大了标注难度和前期工作量。

技术实现思路

[0008]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的卫星图像中船舶识别与分割方法。
[0009]本专利技术的目的可以通过以下技术方案来实现：
[0010]根据本专利技术的一个方面，提供了一种基于深度学习的卫星图像中船舶识别与分割方法，该方法基于改进的Xception和改进的U-Net网络，对海面上航行的船只进行监测，实现对于船舶的识别和图像分割，得到关于船舶的预警和图像信息，有助于分析海域情况，有
助于更精准的海面监测，有效打击违法走私船和渔船违法捕捞等行为，所述的方法具有以下步骤：
[0011]步骤1)采集数据；
[0012]步骤2)数据集增强；
[0013]步骤3)标记图片；
[0014]步骤4)进行卫星图像中的船舶识别；
[0015]步骤5)进行船舶图像语义分割；
[0016]步骤6)实时进行船舶的自动识别和监测。
[0017]作为优选的技术方案，所述的步骤1)采集数据具体为：
[0018]通过卫星图采集海域的视频，从视频中截取任意可能存在船只的图片，生成图片库A。
[0019]作为优选的技术方案，所述的步骤2)数据集增强具体为：
[0020]所述的图片库A通过数据增强生成图片库A1；图片库A、图片库A1共同构成数据集B。通过扩充数据集，可以防止图像样本过少导致的过拟合问题和最终造成的识别精度低等问题。
[0021]作为优选的技术方案，所述的数据增强包括：
[0022]a)水平、垂直翻转；b)任意角度旋转：在-90
°
至90
°
之间选择随机值；c)将图片进行模拟其他天气的图像增强。
[0023]作为优选的技术方案，所述的步骤3)标记图片具体为：
[0024]将数据集B中的每张图片进行辨识，对每张图片中进行标注，标注内容为是否包含船只，将其与图片名称对应后生成数据集D；同时选出其中含船舶的图片选出，形成图片库B，图片库B构成数据库C；
[0025]将图片库B中的每张图片进行标注，标注形式为Length
×
Width
×
1的矩阵，目标是分割出船舶的位置和轮廓，即对图像的每个像素分别进行标注，由于需要分割的只有一种目标(不区分船的种类)，每个像素的标注结果只有0和1两种，最终得到图片中包含船舶每个像素的分类信息的数据集E。
[0026]作为优选的技术方案，所述的步骤4)进行卫星图像中的船舶识别具体为：
[0027]401)将整个数据集B随机的分为三部分训练集P1、验证集P2和测试集P3；
[0028]402)训练集P1用于改进的Xception网络的训练，将训练集P1及数据集D送入到改进的Xception网络中进行训练得到多个权重模型；
[0029]403)验证集P2用于调整模型中的各个参数，当训练集P1训练出多个权重模型后，分别使用不同的权重模型对P2进行预测，将其与数据集D中的验证信息进行对比，选择预测后F1-Score最高的权重模型所对应参数，从而生成最优的权重模型；
[0030]404)经过训练集P1和验证集P2得到了最优权重模型之后，接着使用测试集进行测试，得到最优权重模型用于卫星图片中的船舶的识别。
[0031]作为优选的技术方案，所述的F1-Score的计算公式如下：
[0032][0033]其中各参数的物理意义为：TP：图片中实际存在船只且预测结果也为存在船只的
样本数量；FN：图片中实际存在船只但预测结果为不存在船只的样本数量；FP：图片中实际不存在船只但预测结果为存在船只的样本数量；Precision：在所有被预测为存在船只的测试数据中，图片中真正存在船只的样本数量比例；Recall：在图片中真正存在船只的测试数据中，被预测为存在船只的样本数量比例；
[0034]F1-score越高，说明分类模型越稳健。
[0035]作为优选的技术方案，所述的步骤5)进行船舶图像语义分割具体为：
[0036]501)将整个数据集C随机分为三部分训练集Q1、验证集Q2和测试集Q3；
[0037]502)训练集Q1用于改进的U-Net网络的训练，将训练集Q1及数据集E送入改进的U-Net网络中进行训练，得到不同的多个训练权重；
[0038]503)验证集Q2用于调整模型中的各个参数，当训练集Q1训练出多个参数权重模型后，分别使用不同的权重模型对Q2进行预测，将其与数据集E中的验证信息进行对比，选择预测后准确率最高的权重模型所对应参数，从而生成最优的模型权重；
[0039]504)经过训练集和验证集经过训练集Q1和验证集Q2得到了最优权重模型之后，接着本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的卫星图像中船舶识别与分割方法，其特征在于，该方法基于改进的Xception和改进的U-Net网络，对海面上航行的船只进行监测，实现对于船舶的识别和图像分割，得到关于船舶的预警和图像信息，所述的方法具有以下步骤：步骤1)采集数据；步骤2)数据集增强；步骤3)标记图片；步骤4)进行卫星图像中的船舶识别；步骤5)进行船舶图像语义分割；步骤6)实时进行船舶的自动识别和监测。2.根据权利要求1所述的一种基于深度学习的卫星图像中船舶识别与分割方法，其特征在于，所述的步骤1)采集数据具体为：通过卫星图采集海域的视频，从视频中截取任意可能存在船只的图片，生成图片库A。3.根据权利要求2所述的一种基于深度学习的卫星图像中船舶识别与分割方法，其特征在于，所述的步骤2)数据集增强具体为：所述的图片库A通过数据增强生成图片库A1；图片库A、图片库A1共同构成数据集B。4.根据权利要求3所述的一种基于深度学习的卫星图像中船舶识别与分割方法，其特征在于，所述的数据增强包括：a)水平、垂直翻转；b)任意角度旋转：在-90
°
至90
°
之间选择随机值；c)将图片进行模拟其他天气的图像增强。5.根据权利要求3所述的一种基于深度学习的卫星图像中船舶识别与分割方法，其特征在于，所述的步骤3)标记图片具体为：将数据集B中的每张图片进行辨识，对每张图片中进行标注，标注内容为是否包含船只，将其与图片名称对应后生成数据集D；同时选出其中含船舶的图片选出，形成图片库B，图片库B构成数据库C；将图片库B中的每张图片进行标注，标注形式为Length
×
Width
×
1的矩阵，目标是分割出船舶的位置和轮廓，即对图像的每个像素分别进行标注，每个像素的标注结果只有0和1两种，最终得到图片中包含船舶每个像素的分类信息的数据集E。6.根据权利要求5所述的一种基于深度学习的卫星图像中船舶识别与分割方法，其特征在于，所述的步骤4)进行卫星图像中的船舶识别具体为：401)将整个数据集B随机的分为三部分训练集P1、验证集P2和测试集P3；402)训练集P1用于改进的Xception网络的训练，将训练集P1及数据集D送入到改进的Xception网络中进行训练得到多个权重模型；403)验证集P2用于调整模型中的各个参数，当训练集P1训练出多个权重模型后，分别使用不同的权重模型对P2进行预测，将其与数据集D中的验证信息进行对比，选择预测后F1-Score最高的权重模型所对应参数，从而生成最优的权重模型；404)经过训练集...

【专利技术属性】
技术研发人员：张卫东，肖志勇，何星，卢俊国，王琳，孙敏，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：