基于声呐图像的AI水下目标检测与定位方法技术

本发明专利技术涉及基于声呐图像的AI水下目标检测与定位方法，包括如下步骤：对水下目标进行声呐图像数据采集、数据预处理及数据增强，为后续训练测试做准备；对水下目标检测进行训练测试；基于SLAM算法对水下环境进行同步建图并对目标设备进行定位。本发明专利技术基于深度学习在水下目标检测识别的成功应用，能够将目标从复杂的海洋环境背景中准确分割出来，此方向必将引领水下目标识别领域的技术突破；同时，深度学习在水下SLAM中的成功应用，也将使自主水下机器人能够更准确地理解所处作业区域的外部环境，从而提升水下作业的自动化水平。从而提升水下作业的自动化水平。从而提升水下作业的自动化水平。

【技术实现步骤摘要】
基于声呐图像的AI水下目标检测与定位方法


[0001]本专利技术涉及基于SLAM算法的水下目标定位
，具体涉及基于声呐图像的AI水下目标检测与定位方法。

技术介绍

[0002]随着世界各国开展水下作业任务的增加，对水下信息的采集工作成为水下作业的重要前提之一。由于信息水下采集设备需要进行定期维护及数据回收，且水下环境复杂，对水下信息采集设备的回收是一件具有挑战性的任务。
[0003]传统的水下目标检测方法包括图像特征匹配识别、通用图像分割以及基于颜色和形状的检测与识别。各国学者对水下目标的传统方法进行了研究，大多采用水下人工目标方法进行水下试验验证。虽然这些方法处理时间很快，但对于动态环境仍然不理想，而且不够精确。与传统的目标检测方法相比，基于深度学习的目标检测算法速度更快，在目标部分遮挡的情况下具有更好的鲁棒性。因此，它逐渐成为目标检测的主流方法。目前，基于深度学习的算法可以分为单阶段的端到端算法和两阶段的区域提议算法。
[0004]这些基于深度学习的检测方法只能得到目标在图像中的位置，并不是目标的地图定位。目标定位是AUV进行水下信息采集设备回收作业的另一个重要研究内容。在这些操作中，大多采用协同目标或人工目标来提高定位效率。常用的水下人工物体通常具有规则的形状和特定的明亮色彩，如水下特殊的水下图案、主动激光模块、3D标记器等，而本专利技术采用SLAM算法进行定位。
[0005]由于水下环境比陆地上要复杂的多，在水下没有光源的情况下，水下的视频采集系统必须依赖人造光源提供照明，光在水中传输时又会受到水的吸收、反射和散射等影响而发生严重的衰减，采集到的水下图像难免会出现可见范围有限、模糊不清、低对比度、非均匀光照、色彩不协调及噪声等问题，导致目标检测范围较小且准确率较低。
[0006]基于投放标志物的水下定位技术，需要人工参与，设备无法自主完成，工作效率较低，无法获取水下全局地图信息。

技术实现思路

[0007]为解决已有技术存在的不足，本专利技术提供了一种基于声呐图像的AI水下目标检测与定位方法，包括如下步骤：
[0008]步骤S1：对水下目标进行声呐图像数据采集、数据预处理及数据增强，为后续训练测试做准备；
[0009]步骤S2：对水下目标检测进行训练测试；
[0010]步骤S3：基于SLAM算法对水下环境进行同步建图并对目标设备进行定位。
[0011]其中，所述步骤S2包括：
[0012]步骤S21：基于目标检测网络，修改网络模型，对步骤S1处理后的声呐图像进行AI学习训练；
[0013]步骤S22：对水下目标声呐图像通过基于深度学习的目标检测方法进行测试。
[0014]其中，采用yolov5网络对步骤S1处理后的声呐图像进行AI学习训练。
[0015]其中，采用yolov5网络对步骤S1处理后的声呐图像进行AI学习训练包括：
[0016]步骤S211：加载预训练的yolov5网络，冻结特征提取层，修改网络输出层，将针对可见光图像的80分类调整为针对声呐图像的单一目标；
[0017]步骤S212：进行迁移训练学习，待准确率达到预期值后，解冻特征提取层，进行网络微调；
[0018]步骤S213：减小特征提取层维度，将输出结果与步骤S212训练好的模型结果进行损失计算，完成网络蒸馏。
[0019]其中，所述步骤S3中，采用ORB
‑
SLAM3架构提供的算法对水下环境进行同步建图并对目标设备进行定位，同时，基于SuperPoint与SuperGlue进行声呐图像特征提取与匹配训练。
[0020]其中，所述步骤S3包括：
[0021]步骤S31：基于SuperPoint网络对经步骤S2处理后的水下目标声呐图像集进行AI学习训练，提取特征点和描述子；
[0022]步骤S32：基于SuperGlue模型，基于所提取到的特征点和描述子，对声呐图像进行定位与建图。
[0023]其中，所述步骤S31包括：
[0024]步骤S311：针对采集的声呐图像数据集，使用预训练好的BaseDetector网络提取角点；
[0025]步骤S312：对所采集的声呐图像数据集进行几何变换得到新的图片，得到已知位姿关系图片对；
[0026]步骤S313：加载预训练模型SuperPoint和参数，把经过几何变换的图片的变换前的图片输入网络，提取特征点和描述子，根据所提取的特征点和描述子，结合步骤S311所获取的网络提取角点，进行迁移学习。
[0027]本专利技术基于深度学习在水下目标检测识别的成功应用，能够将目标从复杂的海洋环境背景中准确分割出来，此方向必将引领水下目标识别领域的技术突破；同时，深度学习在水下SLAM中的成功应用，也将使自主水下机器人能够更准确地理解所处作业区域的外部环境，从而提升水下作业的自动化水平。
附图说明
[0028]图1：本专利技术的目标网络结构图。
[0029]图2：本专利技术的SLAM算法的程序流程图。
[0030]图3：本专利技术的SLAM算法的结果演示图。
[0031]图4：本专利技术的SuperPoint的执行步骤图。
[0032]图5：本专利技术的SuperGlue的模型结构图。
[0033]图6：本专利技术的另一SuperGlue的模型结构图。
[0034]图7：本专利技术采取低阈值特征提取与匹配结果图。
[0035]图8：本专利技术采取高阈值特征提取与匹配结果图。
[0036]图9：基于本专利技术的方法与基于已有的LIFT及SIFT的匹配结果对比图。
[0037]图10：基于本专利技术提供的方法所识别出的水下目标结果图。
具体实施方式
[0038]为了对本专利技术的技术方案及有益效果有更进一步的了解，下面结合附图详细说明本专利技术的技术方案及其产生的有益效果。
[0039]本专利技术基于当前国际前沿网络模型进行改进，利用它们进行声呐图像的目标检测、特征点识别与匹配，同时使用动态阈值方式，从而提高目标检测准确性和性能，有效缩短模型检测时间，同时提升两帧间相对位姿计算的准确性，为后续地图创建提供精确的定位信息。同时，在水下环境中使用声纳图像能够比光学图像检测范围与距离更大，更加适应水下环境。
[0040]为了解决现有技术存在的不足，为准确回收水下信息采集设备进而提高水下作业效率，目标检测和定位的准确性和速度是关键因素。同时，获得目标位置信息和姿态信息，有利于水下作业展开。本专利技术的第一个改进点是利用声呐图像对水下目标进行准确的检测，声呐图像能够解决已有的水下可见光探测距离过短的缺陷，然而，在位置和方位确定方面，声呐图像较可见光成像需克服更多的技术障碍，本专利技术提出的正是一种基于声呐图像的AI水下目标检测与定位方法。
[0041]一、本专利技术的整体技术方案
[0042]1、对水下目标进行声呐图像数据采集、数据预处理及数据增强，为后续训练测试做准备；...

【技术保护点】

【技术特征摘要】
1.基于声呐图像的AI水下目标检测与定位方法，其特征在于，包括如下步骤：步骤S1：对水下目标进行声呐图像数据采集、数据预处理及数据增强，为后续训练测试做准备；步骤S2：对水下目标检测进行训练测试；步骤S3：基于SLAM算法对水下环境进行同步建图并对目标设备进行定位。2.如权利要求1所述的基于声呐图像的AI水下目标检测与定位方法，其特征在于：所述步骤S2包括：步骤S21：基于目标检测网络，修改网络模型，对步骤S1处理后的声呐图像进行AI学习训练；步骤S22：对水下目标声呐图像通过基于深度学习的目标检测方法进行测试。3.如权利要求2所述的基于声呐图像的AI水下目标检测与定位方法，其特征在于：采用yolov5网络对步骤S1处理后的声呐图像进行AI学习训练。4.如权利要求3所述的基于声呐图像的AI水下目标检测与定位方法，其特征在于：采用yolov5网络对步骤S1处理后的声呐图像进行AI学习训练包括：步骤S211：加载预训练的yolov5网络，冻结特征提取层，修改网络输出层，将针对可见光图像的80分类调整为针对声呐图像的单一目标；步骤S212：进行迁移训练学习，待准确率达到预期值后，解冻特征提取层，进行网络微调；步骤S213：减小特征提取层维度，将输出结果与步骤S212训练好的模型结果进行损...

【专利技术属性】
技术研发人员：韩福海，魏越，刘丽欣，王文成，张要辉，
申请(专利权)人：先进操作系统创新中心天津有限公司，
类型：发明
国别省市：