一种基于前视声纳图像和AUV平台的水下渔网检测方法技术

本发明专利技术公开一种基于前视声纳图像和AUV平台的水下渔网检测方法，通过搭载在AUV上的多波束前视声纳采集并获取前视声呐原始数据包；对所获声呐原始数据包进行实时解析得到原始声纳数据矩阵，然后对声纳数据进行插值，得到完整的扇形前视声纳图像；将得到的前视声纳图像传输到AUV平台，并输入到提前训练好的目标检测模型中实时进行渔网检测；并将检测结果转换成相应的系统指令，反馈给AUV主控模块，AUV根据检测结果进行相应的避障决策。本方案解决了现有技术存在的算法实现复杂、检测准确率低、实时性差等问题，提高了AUV的自主生存能力，使AUV能够实时掌握前方海域信息，并能够对水下渔网进行自主检测与躲避。

【技术实现步骤摘要】
一种基于前视声纳图像和AUV平台的水下渔网检测方法
本专利技术涉及一种基于前视声纳图像和AUV平台的水下渔网检测方法，属于前视声呐图像目标检测

技术介绍
自主式水下机器人(AUV)是人类探索海洋的重要工具。它可以广泛应用于海洋调查、资源勘探和军事领域。受人类视觉系统的启发，水下机器人的视觉系统主要依赖于声纳，前视声纳(FLS)是AUV探测水下目标的主要传感器之一。前视声呐探测的场景可以可视化为前视声纳图像。这样，AUV就可以从声纳图像中识别和探测目标，并执行各种海洋任务，如路径规划、水下考古、鱼类识别等，因此，我们可以让AUV利用FLS图像来检测和定位水下渔网，进而实现渔网躲避，以免对AUV造成不可修复的损害。基于前视声呐图像的水下渔网检测方法的一般过程可分为声呐图像的预处理、特征提取和目标检测。近年来深度学习在计算机视觉应用中高速发展，针对前视声呐图像的目标检测技术得到了极大的发展，精准的检测结果给AUV的避障决策带来了极大的保障。因此，基于前视声纳图像和AUV平台的水下渔网检测方法具有重要研究意义，其中，准确、高效的水下渔网检测算法使得搭载多波束前视声呐的AUV具有更高的安全性、智能型和更低的维护成本。现有技术中，对于AUV的控制一般都是在岸机端，通过按键或手柄控制AUV的活动。然而，在岸上控制AUV具有许多弊端：首先，复杂多变的水下环境导致无线电通信变得困难，水下电信号会存在衰减，随着距离的增加，一些从岸上发出的控制命令很难到达AUV；其次，受传输距离及传输介质等影响，AUV接收到命令信息时可能会存在延时或偏差等问题，导致AUV不能实时感知前方海域信息，及时做出决策。对于安全性和实时性要求较高的实践性工作，水下设备交互控制、实现实时性探测的重要性不言而喻。然而，由于上述问题导致交互控制方式以及实时性信息的获取受到极大限制，现有技术无法满足技术需要。另外，尽管目标检测技术在不断发展和完善，但大多是针对光学图像数据集。由于FLS图像的噪声复杂多变，目前还没有一种通用的FLS图像目标检测算法。传统的基于深度学习的目标检测算法主要分为三个步骤：第一，对输入前视声呐图像进行预处理(如滤波算法、阈值分割)，抑制图像中噪声和混响的干扰；第二，采用传统的滑动窗口等方式获取大量建议框(proposals)，这些建议框将用来进行特征提取和检测回归；第三，利用卷积神经网络对建议框进行特征提取，并将得到的特征信息输入到设计好的分类器(如支持向量机、隐马尔可夫模型、人工神经网络等)中从而实现对声纳图像进行分类和回归。然而，这些传统的算法采用的卷积神经网络大多是由卷积层和池化层简单堆叠而成，无法提取具有较强表示能力的特征。提取建议框的方法太过费时且需要与特征提取过程分开进行，不能实现端到端的高效的目标检测网络。现有方法在水下这种复杂环境下检测精度也不高，不适用于具有高精度以及实时性要求的AUV作业。
技术实现思路
本专利技术针对于现有目标检测算法的不足，提出一种适用于前视声呐图像并且高效准确的目标检测算法，该算法能够嵌入到AUV系统中，克服现有AUV在实时检测及自主生存能力上的缺陷，在复杂水下环境中能有效提高检测效率，达到实时性的同时，还具有较高的检测准确率，从而实现AUV在复杂海域里实时检测水下渔网，为AUV避障决策提供保障。为实现上述技术目的，本专利技术给出的技术方案是：一种基于前视声纳图像和AUV平台的水下渔网检测方法，具体步骤如下：步骤A、通过搭载在AUV上的多波束前视声纳采集并获取前视声呐原始数据包；步骤B、对步骤A中所获得的前视声呐原始数据包进行实时解析，得到原始声纳数据矩阵，并对原始声呐数据矩阵进行插值，获得完整的扇形前视声纳图像；步骤C、将扇形前视声纳图像传输到AUV平台上的GPU模块；步骤D、GPU模块接收到扇形前视声纳图像后，将扇形前视声纳图像输入到训练好的基于深度学习的目标检测模型中，实时进行渔网检测，以得到渔网的位置和方位角；其中，基于深度学习的目标检测模型构建过程如下：步骤D1、利用前视声纳采集渔网图像做为训练样本，并使用标注工具对前视声纳图像进行标注；步骤D2、训练样本集预处理：以对前视声呐图像去噪并对前视声呐数据集进行扩充；步骤D3、将经步骤D2预处理后的数据作为训练样本，构建基于深度学习的目标检测模型，其包括负责融合前视声纳图像中不同层次的特征的特征提取模块以及负责定位目标边界框的预测模块；步骤E、将渔网的位置和方位角转换成相应的系统指令反馈给AUV主控模块，AUV根据检测结果进行相应的避障决策。进一步的，所述步骤B中通过插值获得完整的扇形前视声纳图像具体通过以下方式实现：步骤B1、由于扫描范围不同会导致接收的数据矩阵大小不同，对原始声呐数据矩阵进行均匀采样获得相同大小的数据矩阵；步骤B2、对步骤B1均匀采样后的数据基于双线性插值算法进行插值，获得完整的前视声纳图像：(1)遍历完整扇形前视声呐图像中的每个像素点，判断该像素点是否处于扇形可视区域；若不在扇形可视区域内，则不进行插值操作；反之，进行插值操作；(2)对于待插值像素点T：b1.根据像素点T的笛卡尔坐标(x，y)转换为极坐标(ρ，r)；b2.根据极坐标中的ρ找到与待插值像素点T最邻近的两个波束，即对应于原始声纳数据矩阵中的相邻两列数据；b3.根据极坐标中的r，在每个波束上找到与待插值像素点T最邻近的两个回波点，即对应于原始声纳数据矩阵中的四个数据；b4.利用每个波束上的两个点进行线性插值操作，求出每个波束上与待插值像素点T具有相同极坐标r的坐标点的像素值；b5.根据b4求出的两个像素值，再次进行线性插值操作，求出待插值像素点T的像素值。进一步的，所述步骤D2中，对训练样本进行预处理，主要包括以下步骤：(1)前视声呐图像去噪：对前视声纳图像进行阈值分割，以减少噪声对目标的干扰，由于目标和噪声的灰度相似，为解决了阈值分割引起的目标丢失问题，在阈值分割之前采用灰度拉伸运算来提高目标和噪声的对比度：灰度拉伸的计算公式如下：GSdst(x，y)＝a*GSsrc(x，y)+b其中，GSsrc(x，y)是灰度拉伸前(x，y)处的像素值，GSdst(x，y)是灰度拉伸后(x，y)处的像素值，参数a＝1.5和b＝0控制拉伸程度；阈值分割的计算公式如下：其中，TSsrc(x，y)是阈值分割前(x，y)处的像素值，TSdst(x，y)是阈值分割后(x，y)处的像素值，thresh阈值等于扇形区域像素平均值；(2)前视声呐数据集扩充：采用数据增强方式对图像增强，包括随机旋转变换、随机缩放变换、随机水平或垂直翻转变换以及随机改变亮度、对比度和颜色；基于mixup增强方法，借鉴分类任务中的mixup增强技术，利用当前的前视声呐图像数据集，构建用于目标检测模型训练的虚拟样本；其主要思想是本文档来自技高网...

【技术保护点】
1.一种基于前视声纳图像和AUV平台的水下渔网检测方法，具体步骤如下：/n步骤A、通过搭载在AUV上的多波束前视声纳采集并获取前视声呐原始数据包；/n步骤B、对步骤A中所获得的前视声呐原始数据包进行实时解析，得到原始声纳数据矩阵，并对原始声呐数据矩阵进行插值，获得完整的扇形前视声纳图像；/n步骤C、将扇形前视声纳图像传输到AUV平台上的GPU模块；/n步骤D、GPU模块接收到扇形前视声纳图像后，将扇形前视声纳图像输入到训练好的基于深度学习的目标检测模型中，实时进行渔网检测，以得到渔网的位置和方位角；/n其中，基于深度学习的目标检测模型构建过程如下：/n步骤D1、利用前视声纳采集渔网图像做为训练样本，并使用标注工具对前视声纳图像进行标注；/n步骤D2、训练样本集预处理：以对前视声呐图像去噪并对前视声呐数据集进行扩充；/n步骤D3、将经步骤D2预处理后的数据作为训练样本，构建基于深度学习的目标检测模型，其包括负责融合前视声纳图像中不同层次的特征的特征提取模块以及负责定位目标边界框的预测模块；/n步骤E、将渔网的位置和方位角转换成相应的系统指令反馈给AUV主控模块，AUV根据检测结果进行相应的避障决策。/n...

【技术特征摘要】
1.一种基于前视声纳图像和AUV平台的水下渔网检测方法，具体步骤如下：
步骤A、通过搭载在AUV上的多波束前视声纳采集并获取前视声呐原始数据包；
步骤B、对步骤A中所获得的前视声呐原始数据包进行实时解析，得到原始声纳数据矩阵，并对原始声呐数据矩阵进行插值，获得完整的扇形前视声纳图像；
步骤C、将扇形前视声纳图像传输到AUV平台上的GPU模块；
步骤D、GPU模块接收到扇形前视声纳图像后，将扇形前视声纳图像输入到训练好的基于深度学习的目标检测模型中，实时进行渔网检测，以得到渔网的位置和方位角；
其中，基于深度学习的目标检测模型构建过程如下：
步骤D1、利用前视声纳采集渔网图像做为训练样本，并使用标注工具对前视声纳图像进行标注；
步骤D2、训练样本集预处理：以对前视声呐图像去噪并对前视声呐数据集进行扩充；
步骤D3、将经步骤D2预处理后的数据作为训练样本，构建基于深度学习的目标检测模型，其包括负责融合前视声纳图像中不同层次的特征的特征提取模块以及负责定位目标边界框的预测模块；
步骤E、将渔网的位置和方位角转换成相应的系统指令反馈给AUV主控模块，AUV根据检测结果进行相应的避障决策。


2.根据权利要求1所述的基于前视声纳图像和AUV平台的水下渔网检测方法，其特征在于：所述步骤B中通过插值获得完整的扇形前视声纳图像具体通过以下方式实现：
步骤B1、对原始声呐数据矩阵进行均匀采样获得相同大小的数据矩阵；
步骤B2、对步骤B1均匀采样后的数据基于双线性插值算法进行插值，获得完整的前视声纳图像：
(1)遍历完整扇形前视声呐图像中的每个像素点，判断该像素点是否处于扇形可视区域；若不在扇形可视区域内，则不进行插值操作；反之，进行插值操作；
(2)对于待插值像素点T：
b1.根据像素点T的笛卡尔坐标(x，y)转换为极坐标(ρ，r)；
b2.根据极坐标中的ρ找到与待插值像素点T最邻近的两个波束，即对应于原始声纳数据矩阵中的相邻两列数据；
b3.根据极坐标中的r，在每个波束上找到与待插值像素点T最邻近的两个回波点，即对应于原始声纳数据矩阵中的四个数据；
b4.利用每个波束上的两个点进行线性插值操作，求出每个波束上与待插值像素点T具有相同极坐标r的坐标点的像素值；
b5.根据b4求出的两个像素值，再次进行线性插值操作，求出待插值像素点T的像素值。


3.根据权利要求1所述的基于前视声纳图像和AUV平台的水下渔网检测方法，其特征在于：所述步骤D2中，对训练样本进行预处理，主要包括以下步骤：
(1)前视声呐图像去噪：
对前视声纳图像进行阈值分割，在阈值分割之前采用灰度拉伸运算来提高目标和噪声的对比度：
灰度拉伸的计算公式如下：
GSdst(x，y)＝a*GSsrc(x，y)+b
其中，GSsrc(x，y)是灰度拉伸前(x，y)处的像素值，GSdst(x，y)是灰度拉伸后(x，y)处的像素值，参数a＝1.5和b＝0控制拉伸程度；
阈值分割的计算公式如下：



其中，TSsrc(x，y)是阈值分割前(x，y)处的像素值，TSdst(x，y)是阈值分割后(x，y)处的像素值，thresh阈值等于扇形区域像素平均值；
(2)前视声呐数据集扩充：
采用数据增强方式对图像增强，包括随机旋转变换、随机缩放变换、随机水平或垂直翻转变换以及随机改变亮度、对比度和颜色；
基于mixup增强方法，利用当前的前视声呐图像数据集，构建用于目标检测模型训练的虚拟样本；其主要思想是从训练数据集中随机抽取两张图片，然后按照一定的比例进行混合，将混合后的虚拟样本及标签用于训练，所述虚拟样本的虚拟标签包含图像中目标的种类和目标的真实边界框：



式中，(xi，yi)和(xj，yj)是从训练数据集中随机选取的两个不同的样本及对应的标签，λ∈[0，1]是混合比例，其分布来自β分布B(α，β)。超参数α和β...

【专利技术属性】
技术研发人员：秦日霞，何波，
申请(专利权)人：青岛澎湃海洋探索技术有限公司，
类型：发明
国别省市：山东;37