基于深度学习的船基视频图像海冰厚度测量方法及系统技术方案

本发明专利技术提供一种基于深度学习的船基视频图像海冰厚度测量方法及系统，包括输入翻转海冰关键帧识别数据集并进行图像增强，所述翻转海冰关键帧识别数据集中包括从船基海冰视频中识别所得多幅带标记的图像帧，所述标记包括“翻转海冰”、“海水”、“海冰”和“其他”类别；基于多尺度的密集连接卷积神经网络训练翻转海冰关键帧识别模型；采用翻转海冰关键帧识别模型，识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧；基于所得待测量的翻转海冰图像帧，实现海冰厚度测量。本发明专利技术面向极地科考研发，方法合理、精确，有效提高了船基海冰视频数据处理效率及自动化程度；系统设计规范，可靠性强，具有较强的应用价值。具有较强的应用价值。具有较强的应用价值。

【技术实现步骤摘要】
基于深度学习的船基视频图像海冰厚度测量方法及系统


[0001]本专利技术涉及遥感
，尤其涉及利用计算机视觉技术的船基视频海冰厚度测量方法。

技术介绍

[0002]海冰对全球热平衡、大气环流、海洋水循环、生态系统、极地航行安全等有着重要影响。目前国内外海冰厚度测量主要包括遥感测量法和实地钻孔测量法。遥感测量法即通过卫星、航天飞机、无人机等搭载的光学、雷达等传感器获取海冰影像，经反演算法估算出海冰厚度。这类方法受时间、空间限制较小，但估算结果误差大，精度较低，相比较于此，实地钻孔测量法利用长度测量工具直接测量海冰厚度，精度高，但测量范围小，成本高。现有的海冰厚度测量方法在精度、效率、时效性、空间范围、成本等方面各有欠缺，难以满足实际的海冰厚度科研和应用需求。参见图1，目前最有应用前景的利用船舶走航观测海冰厚度的方法，是通过在测量船甲板架设摄像机，垂直向下拍摄船舶航行时所破开的翻转海冰，再由摄像视野内近冰面的参考球尺寸(标准尺寸为直径30cm)估算得到海冰厚度，此方法可连续获得航线上的海冰厚度数据，且数据可靠性较高，但由于视频数据量庞大，导致翻转海冰帧的提取和海冰厚度测量面临极大的工作量、工作效率低。

技术实现思路

[0003]针对现有技术的缺点，本专利技术的目的是解决海量船基视频翻转海冰帧提取工作量大、效率低的问题以及解决翻转海冰图像海冰厚度高精度测量问题。
[0004]为实现上述目的，本专利技术的技术方案为一种基于深度学习的船基视频图像海冰厚度测量方法，包括以下步骤：
[0005]步骤1，输入翻转海冰关键帧识别数据集并进行图像增强，划分训练数据集和测试数据集；所述翻转海冰关键帧识别数据集中包括从船基海冰视频中识别所得多幅带标记的图像帧，
[0006]所述标记包括“翻转海冰”、“海水”、“海冰”和“其他”类别；
[0007]步骤2，根据步骤1所得翻转海冰关键帧识别的训练数据集，基于多尺度的密集连接卷积神经网络训练翻转海冰关键帧识别模型，直到根据步骤1所得翻转海冰关键帧识别的测试数据集测试通过时，训练完成，进入步骤3；
[0008]步骤3，对待识别的船基海冰视频数据，进行视频帧解析，采用步骤2训练完成的翻转海冰关键帧识别模型，识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧；
[0009]步骤4，基于步骤3所得待测量的翻转海冰图像帧，实现海冰厚度测量。
[0010]而且，步骤1中，构建翻转海冰关键帧识别数据集的实现方式为，
[0011]从船基海冰视频中识别所需翻转海冰关键帧，截取并保存标记为“翻转海冰”类别，识别海水帧，截取并标记为“海水”类别，识别非翻转的海冰帧，截取并标记为“海冰”类
别，截取其他不相关帧标记为“其他”类别。
[0012]而且，步骤1中，图像增强实现方式为，对四种类别图像进行亮度、对比度及噪声处理，以模拟拍摄现场相关因素影响。
[0013]而且，所述多尺度的密集连接卷积神经网络中包括多个密集连接多尺度采样模块完成图像特征下采样及图像特征维度调整，每个密集连接多尺度采样模块由密集连接模块和多尺度采样模块嵌套组成。
[0014]而且，步骤3实现方式包括以下子步骤，
[0015]步骤3.1，对待识别的船基海冰视频数据按设定帧间隔进行视频帧解析，获得帧图像；
[0016]步骤3.2，按设定完成帧图像的相应时间转换；
[0017]步骤3.3，对帧图像进行中值滤波处理；
[0018]步骤3.4，采用步骤2训练完成的翻转海冰关键帧识别模型，记录帧时间和识别结果，将识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧。
[0019]而且，步骤4中，实现海冰厚度测量包括以下步骤，
[0020]1)提取参考球像素直径d；
[0021]2)识别图像中翻转海冰位置，通过三条线段表示翻转海冰厚度；
[0022]3)由所得各线段端点像素坐标计算提取各线段像素长度；
[0023]4)根据已知参考球实际直径，通过1)所得参考球像素直径d和3)所得各线段像素长度计算获得海冰厚度。
[0024]而且，设参考球像素直径为d，图像中代表海冰厚度的3条线段的像素长度为d1、d2、d3，根据参考球、海冰厚度的像素尺寸与实际尺寸的对应关系计算每幅图像的海冰厚度T
N
如下，
[0025][0026]其中，D表示参考球实际直径。
[0027]或者，步骤4中，实现海冰厚度测量包括以下步骤，
[0028]1)图像特征处理，包括读入图像矩阵并灰度化，并进行高斯滤波处理；基于图像色彩范围、纹理等信息设定阈值得到翻转海冰的二值图；
[0029]2)图像边界检测，包括基于轮廓提取函数得到图像边界信息；
[0030]3)矩形检测：基于最小外接矩形提取函数，由2)所得图像边界检测结果获取翻转海冰轮廓的外接最小矩形四角像素坐标，得到翻转海冰的厚度。
[0031]本专利技术还提供一种基于深度学习的船基视频图像海冰厚度测量系统，用于实现如上所述的一种基于深度学习的船基视频图像海冰厚度测量方法。
[0032]而且，包括以下模块，
[0033]第一模块，用于输入翻转海冰关键帧识别数据集并进行图像增强，划分训练数据集和测试数据集；所述翻转海冰关键帧识别数据集中包括从船基海冰视频中识别所得多幅带标记的图像帧，
[0034]所述标记包括“翻转海冰”、“海水”、“海冰”和“其他”类别；
[0035]第二模块，用于根据第一模块所得翻转海冰关键帧识别的训练数据集，基于多尺
度的密集连接卷积神经网络训练翻转海冰关键帧识别模型，直到根据第一模块所得翻转海冰关键帧识别的测试数据集测试通过时，训练完成，进入第三模块；
[0036]第三模块，用于对待识别的船基海冰视频数据，进行视频帧解析，采用第二模块训练完成的翻转海冰关键帧识别模型，识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧；
[0037]第四模块，用于基于第三模块所得待测量的翻转海冰图像帧，实现海冰厚度测量。
[0038]本专利技术提供的技术方案的有益效果为：
[0039]本方法实现了船基视频翻转海冰图像的自动提取，实现了海冰厚度测量的流程化，提高了数据处理效率。本专利技术面向极地科考研发，方法合理、精确，有效提高了船基海冰视频数据处理效率及自动化程度；系统设计规范，可靠性强，具有较强的应用价值。
附图说明
[0040]图1为现有技术中的船基海冰视频获取方式示意图；
[0041]图2为本专利技术实施例的一种基于深度学习的船基视频图像海冰厚度测量方法实施流程示意图；
[0042]图3为本专利技术实施例的多尺度的密集连接卷积神经网络结构示意图；
[0043]图4为本专利技术实施例的密集连接模块网络结构图；
[0044]图5为本专利技术实施例的多尺度采样模块网络结构图。
具体实施方式
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的船基视频图像海冰厚度测量方法，其特征在于，包括以下步骤：步骤1，输入翻转海冰关键帧识别数据集并进行图像增强，划分训练数据集和测试数据集；所述翻转海冰关键帧识别数据集中包括从船基海冰视频中识别所得多幅带标记的图像帧，所述标记包括“翻转海冰”、“海水”、“海冰”和“其他”类别；步骤2，根据步骤1所得翻转海冰关键帧识别的训练数据集，基于多尺度的密集连接卷积神经网络训练翻转海冰关键帧识别模型，直到根据步骤1所得翻转海冰关键帧识别的测试数据集测试通过时，训练完成，进入步骤3；步骤3，对待识别的船基海冰视频数据，进行视频帧解析，采用步骤2训练完成的翻转海冰关键帧识别模型，识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧；步骤4，基于步骤3所得待测量的翻转海冰图像帧，实现海冰厚度测量。2.根据权利要求1所述的一种基于深度学习的船基视频图像海冰厚度测量方法，其特征在于：步骤1中，构建翻转海冰关键帧识别数据集的实现方式为，从船基海冰视频中识别所需翻转海冰关键帧，截取并保存标记为“翻转海冰”类别，识别海水帧，截取并标记为“海水”类别，识别非翻转的海冰帧，截取并标记为“海冰”类别，截取其他不相关帧标记为“其他”类别。3.根据权利要求1所述的一种基于深度学习的船基视频图像海冰厚度测量方法，其特征在于：步骤1中，图像增强实现方式为，对四种类别图像进行亮度、对比度及噪声处理，以模拟拍摄现场相关因素影响。4.根据权利要求1所述的一种基于深度学习的船基视频图像海冰厚度测量方法，其特征在于：所述多尺度的密集连接卷积神经网络中包括多个密集连接多尺度采样模块完成图像特征下采样及图像特征维度调整，每个密集连接多尺度采样模块由密集连接模块和多尺度采样模块嵌套组成。5.根据权利要求1所述的一种基于深度学习的船基视频图像海冰厚度测量方法，其特征在于：步骤3实现方式包括以下子步骤，步骤3.1，对待识别的船基海冰视频数据按设定帧间隔进行视频帧解析，获得帧图像；步骤3.2，按设定完成帧图像的相应时间转换；步骤3.3，对帧图像进行中值滤波处理；步骤3.4，采用步骤2训练完成的翻转海冰关键帧识别模型，记录帧时间和识别结果，将识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧。6.根据权利要求1或2或3或4或5所述的一种基于深度学习的船基视频图像海冰厚度测量方法，其特征在于...

【专利技术属性】
技术研发人员：季青，庞小平，赵羲，梁泽毓，
申请(专利权)人：武汉大学，
类型：发明
国别省市：