一种基于深度学习的深海矿物识别方法及系统技术方案

本发明专利技术公开了一种基于深度学习的深海矿物识别方法及系统，包括采集数据，拍摄水下矿物分布的视频并记录矿物分布的地理位置坐标；处理数据，对采集的水下矿物分布的视频数据按一帧的时间长度读取，从中筛选出和矿物分布有关的图片，作为数据集；把数据集划分为训练集，测试集和验证集；深度学习训练，把训练集的图片放入深度学习网络模型中进行训练，获得训练后的深度学习网络模型；深度学习验证，把验证集的图片放入训练后的深度学习网络模型中进行验证，直至验证合格；将验证集的图片输出成热力图形式；采矿车作业，根据矿物地理位置坐标，采矿车作业，输出热力图引导采矿车到达矿物分布区域。本发明专利技术可实现海底矿物分布的高精度实时识别。度实时识别。度实时识别。

【技术实现步骤摘要】
一种基于深度学习的深海矿物识别方法及系统


[0001]本专利技术涉及深海矿物识别领域，尤其涉及一种基于深度学习的深海矿物识别方法及系统。

技术介绍

[0002]多金属结核这类矿物资源多位于海底4000米的深度以下，世界各国对于深海矿产资源的商业化开采还处于起步阶段。深海采矿的成本很高，现在大多数开发过程只是将勘探阶段和采矿阶段信息简单交互，不能把勘探和采矿进行深度融合，大幅降低了采矿效率，增加了采矿成本。
[0003]现有技术(CN107967452A)公开了一种基于视频的深海矿物分布识别方法，包括如下步骤：获取海底地理信息；根据海底地理信息进行海区划分，得到多个待识别海区针对待识别海区建立对应的矿物表征库；拍摄待识别海区的海底摄像视频并记录对应的坐标数据和方位数据；从海底摄像视频提取矿物表征图像以将矿物表征图像与矿物表征信息进行比对；在矿物表征图像与矿物表征信息的相似度达到相似度阈值时，识别出目标表征物并获取对应的坐标数据和方位数据；根据获取的坐标数据和方位数据确定待识别海区中目标表征物的分布情况，进而初步确定海底矿物的分布。上述现有技术需要大量的海底矿物图像建立矿物表征库，一般至少是一种矿物是几万张，耗时多，且效率低下。
[0004]因此，亟待解决上述问题。

技术实现思路

[0005]专利技术目的：本专利技术的第一目的是提供一种基于深度学习的深海矿物识别方法，可在勘探阶段采集少量数据集通过深度学习训练，系统输出热力图显示矿物位置及该位置有矿物分布概率，便于在采矿阶段用于海底矿物分布的高精度实时识别，实现深海矿物开发智能化和可视化。
[0006]本专利技术的第二目的是提供一种基于深度学习的深海矿物识别系统。
[0007]技术方案：为实现以上目的，本专利技术公开了一种基于深度学习的深海矿物识别系统及方法，包括如下步骤：
[0008](1)采集数据，准备水下勘探AUV小车，在小车的四个角分别安装一个水下摄像机，负责拍摄水下矿物分布的视频；同时在AUV小车内部搭载北斗卫星定位系统和长基线定位传感器，用于记录矿物分布的地理位置坐标，在每个水下摄像机的上方都安装照明设备；
[0009](2)处理数据，对采集的水下矿物分布的视频数据按一帧的时间长度读取，生成的图片数量少于3000张、大于500张，并从图片中筛选出和矿物分布有关的图片，作为训练所用的数据集；用标注工具labelme标注海底矿物的外边框，作为识别矿物分布的检测框，对每个标注的检测框都添加类别标签；把数据集划分为训练集，测试集和验证集，所划分的训练集，测试集和验证集是相互独立的，不能有重复的图片；
[0010](3)深度学习训练，把训练集的图片放入深度学习网络模型中进行训练，深度学习
网络模型采用yolov8网络模型进行训练，设置训练的迭代次数，训练结束会输出损失函数变化图和训练精度变化图；当输出损失函数和训练精度的曲线收敛，说明训练的结果稳定，结束训练，获得训练后的深度学习网络模型；
[0011](4)深度学习验证，把验证集的图片放入训练后的深度学习网络模型中进行验证，计算平均精度均值mAP、平均精度AP、每秒传输帧数FPS、准确率P和召回率R，当平均精度均值mAP大于0.9，平均精度AP大于0.9，每秒传输帧数FPS大于120，准确率P大于0.8，召回率R大于0.8时，表明深度学习网络模型验证合格；
[0012]当平均精度均值mAP小于0.9，平均精度AP小于0.9，每秒传输帧数FPS小于120，准确率P小于0.8，召回率R小于0.8时，返回步骤(3)，增加训练的迭代次数，再进行深度学习训练，得到迭代后的深度学习训练模型，直至验证合格；
[0013](5)将验证集的图片输出成热力图形式，采用GradCam方法产生的激活类热力图；首先在深度学习网络模型中，验证集的图片和生成热力图的程序放在同一路径下；然后在深度学习网络模型中，设置权重文件的路径和GradCam方法的参数；最后输出矿物分布的热力图形式；
[0014](6)采矿车作业，根据步骤(1)北斗卫星定位系统中存储的矿物地理位置坐标，确定矿物分布区间；通过北斗卫星定位系统，在给定区间的中心点投放采矿车；通过无线传输控制采矿车作业，输出热力图引导采矿车到达矿物分布区域。
[0015]其中，步骤(2)中图片筛选标准为：矿物超过3块的图片保留，少于3块矿物的图片剔除，图片分辨率高于640*640的保留。
[0016]优选的，步骤(3)中采用的损失函数是交叉熵损失函数，交叉熵损失函数的公式如下：
[0017][0018]其中x表示样本，∑表示在样本x上求和，y表示标签，a表示预测的输出，Ina表示以e为底数、以a为真数的对数值，n表示样本总量，C表示交叉熵损失函数值。
[0019]再者，步骤(4)中平均精度均值mAP表示所有类别目标识别精度的均值，计算公式为：
[0020][0021]平均精度AP表示某一类别目标识别的精度，计算公式为：
[0022][0023]P表示准确率，dr表示P对r的微分，表示r的取值范围是0到1；
[0024]准确率P：表示预测为正样本的样本中真正为正样本的比例，计算公式为：
[0025]P＝TP/(TP+FP)
[0026]召回率R：表示真正的正样本中被识别出来的比例，计算公式为：
[0027]R＝TP/(TP+FN)
[0028]其中TP表示真正的正样本数量，FP表示误判为正样本的负样本数量，FN表示未识
别到的正样本数量；
[0029]每秒传输帧数FPS是用来评估目标识别的速度，即每秒内可以处理的图片数量或者处理一张图片所需时间，计算公式为：
[0030][0031]time(pre
‑
process+inference+NMS)表示yolov8网络模型的识别时间，yolov8网络模型的识别时间分为三个部分，图像预处理pre
‑
process、推理inference、非极大值抑制处理NMS。
[0032]进一步，步骤(5)中GradCam方法是基于梯度的激活类热力图，计算过程如下：首先计算c类别的的模型得分对于某个卷积层的梯度，同时在对于上述过程得到的梯度信息，在每个通道维度上对各像素值取平均，得到神经元重要性权重，计算公式为：
[0033][0034]其中Z代表特征图的像素个数，A
ij
代表第k个特征图的i，j位置的像素值，y
c
表示c类别的模型得分，表示c类别模型的第k个特征图的神经元重要性权重，表示y
c
对偏导数；
[0035]然后，利用上述得到的神经元重要性权重对选定的卷积层的特征进行加权；最后，加权后输出的粗糙热力图经过ReLU(激活函数)操作得到热力图，计算公式为：
[0036][0037]其中A
k
表示第k个特征图的像素值，ReLU表示一种激活函数。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的深海矿物识别方法，其特征在于，包括如下步骤：(1)采集数据，准备水下勘探AUV小车，在小车的四个角分别安装一个水下摄像机，负责拍摄水下矿物分布的视频；同时在AUV小车内部搭载北斗卫星定位系统和长基线定位传感器，用于记录矿物分布的地理位置坐标，在每个水下摄像机的上方都安装照明设备；(2)处理数据，对采集的水下矿物分布的视频数据按一帧的时间长度读取，生成的图片数量少于3000张、大于500张，并从图片中筛选出和矿物分布有关的图片，作为训练所用的数据集；用标注工具labelme标注海底矿物的外边框，作为识别矿物分布的检测框，对每个标注的检测框都添加类别标签；把数据集划分为训练集，测试集和验证集，所划分的训练集，测试集和验证集是相互独立的，不能有重复的图片；(3)深度学习训练，把训练集的图片放入深度学习网络模型中进行训练，深度学习网络模型采用yolov8网络模型进行训练，设置训练的迭代次数，训练结束会输出损失函数变化图和训练精度变化图；当输出损失函数和训练精度的曲线收敛，说明训练的结果稳定，结束训练，获得训练后的深度学习网络模型；(4)深度学习验证，把验证集的图片放入训练后的深度学习网络模型中进行验证，计算平均精度均值mAP、平均精度AP、每秒传输帧数FPS、准确率P和召回率R，当平均精度均值mAP大于0.9，平均精度AP大于0.9，每秒传输帧数FPS大于120，准确率P大于0.8，召回率R大于0.8时，表明深度学习网络模型验证合格；当平均精度均值mAP小于0.9，平均精度AP小于0.9，每秒传输帧数FPS小于120，准确率P小于0.8，召回率R小于0.8时，返回步骤(3)，增加训练的迭代次数，再进行深度学习训练，得到迭代后的深度学习训练模型，直至验证合格；(5)将验证集的图片输出成热力图形式，采用GradCam方法产生的激活类热力图；首先在深度学习网络模型中，验证集的图片和生成热力图的程序放在同一路径下；然后在深度学习网络模型中，设置权重文件的路径和GradCam方法的参数；最后输出矿物分布的热力图形式；(6)采矿车作业，根据步骤(1)北斗卫星定位系统中存储的矿物地理位置坐标，确定矿物分布区间；通过北斗卫星定位系统，在给定区间的中心点投放采矿车；通过无线传输控制采矿车作业，输出热力图引导采矿车到达矿物分布区域。2.根据权利要求1所述的一种基于深度学习的深海矿物识别方法，其特征在于：所述步骤(2)中图片筛选标准为：矿物超过3块的图片保留，少于3块矿物的图片剔除，图片分辨率高于640*640的保留。3.根据权利要求2所述的一种基于深度学习的深海矿物识别方法，其特征在于：所述步骤(3)中采用的损失函数是交叉熵损失函数，交叉熵损失函数的公式如下：其中x表示样本，∑表示在样本x上求和，y表示标签，a表示预测的输出，Ina表示以e为底数、以a为真数的对数值，n表示样本总量，C表示交叉熵损失函数值。4.根据权利要求3所述的一种基于深度学习的深海矿物识别方法，其特征在于：所述步骤(4)中平均精度均值mAP表示所有类别目标识别精度的均值，计算公式为：
平均精度AP表示某一类别目标识别的精度，计算公式为：P表示准确率，dr表示P对r的微分，表示r的取值范围是0到1；准确率P：表示预测为正样本的样本中真正为正样本的比例，计算公式为：P＝TP/(TP+FP)召回率R：表示真正的正样本中被识别出来的比例，计算公式为：R＝TP/(TP+FN)其中TP表示真正的正样本数量，FP表示误判为正样本的负样本数量，FN表示未识别到的正样本数量；每秒传输帧数FPS是用来评估目标识别的速度，即每秒内可以处理的图片数量或者处理一张图片所需时间，计算公式为：time(pre
‑
process+inference+NMS)表示yolov8网络模型的识别时间，yolov8网络模型的识别时间分为三个部分，图像预处理pre
‑
process、推理inference、非极大值抑制处理NMS。5.根据权利要求4所述的一种基于深度学习的深海矿物识别方法，其特征在于：所述步骤(5)中GradCam方法是基于梯度的激活类热力图，计算过程如下：首先计算c类别的的模型得分对于某个卷积层的梯度，同时在对于上述过程得到的梯度信息，在每个通道维度上对各像素值取平均，得到神经元重要性权重，计算公式为：其中Z代表特征图的像素个数，A
ij
代表第k个特征图的i，j位置的像素值，y
c
表示c类别的模型得分，表示c类别模型的第k个特征图的神经元重要性权重，表示y
c
对偏导数；然后，利用上述得到的神经元重要性权重对选定的卷积层的特征进行加权；最后，加权后输出的粗糙热力图经过ReLU(激活函数)操作得到热力图，计算公式为：其中A
...

【专利技术属性】
技术研发人员：杨晓桐，展铭，张建，龚炜金，王黎辉，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：