一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法技术

本发明专利技术公开了一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法。该方法首先针对侧扫声呐图像中存在的灰度差异过大和物理分辨率不同等问题，利用成像时的高度、角度等先验信息，自主对图像进行增益补偿和分辨率校正。再对经过校正的声呐图像进行基于改进DeepLabV3+网络模型的图像分割。分割完后运用侧扫声呐的成像原理和几何关系对同一个目标的高亮区域和阴影区域进行匹配，选择感兴趣目标。通过图像校正和精准分割,制作完数据集后，构建基于YOLOv5s网络的声呐目标检测模型，并进行模型训练，最后利用训练好的结果对分割后的待检测声呐图像进行目标检测。本发明专利技术同时引入目标声影区信息和图像精准分割，有效提升了侧扫声呐目标的检测识别精度。侧扫声呐目标的检测识别精度。侧扫声呐目标的检测识别精度。

【技术实现步骤摘要】
一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法


[0001]本专利技术属于水下探测识别领域，具体涉及一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法。

技术介绍

[0002]海上作业中，水下目标检测识别是最常见的应用。水下目标范围广泛，小型目标有鱼群、礁石、沉船、水雷、潜艇和水下机器人等，大型目标有海底火山、大海沟和大面积的海底底质等。在海洋资源开发中，侧扫声呐是非常重要的水下精细探测手段，通常拖曳在无人艇的后方或者安装在水下航行器两侧，采用回波定位和波束形成来形成航行器两侧不同距离、不同方位区域内的回波强度。侧扫声呐的使用量大、成像范围大、成本低廉、图像分辨率适中，是最流行的一类图像声呐，已广泛应用于地形地貌测绘、海底搜救和海洋勘探等众多领域。
[0003]侧扫声呐成像特点与海底地形地貌有非常大的关联，声呐图像大致可分为目标、阴影和背景三个部分，背景区域为海底混响，包含很多噪点；阴影区域由于声波受到目标或小丘阻挡无法通过到该区域而形成。声呐图像存在噪声大、失真严重、目标边缘模糊、分辨率低、纹理性差的特点，导致水下目标分类识别精度不高，那么如何提高分类准确性和快速性，以及减小模型的复杂度都是急需研究解决的关键问题。考虑到以上情况，深度学习算法因其能够提取更加丰富的特征，且鲁棒性强、实用性强，拥有更优秀的性能，非常适合应用于声呐目标检测识别领域。其中YOLOv5s是YOLO检测算法系列中网络模型最小，特征图宽度最小，识别速度最快的网络，因而利用此网络作为声呐目标检测识别的主模型可以在分类的准确性，高效性和模型复杂度上获得很好的改善。
[0004]侧扫声呐图像中的阴影区域包含着声呐目标的形状和高度等信息，在常规的声呐图像识别中往往会忽略阴影部分，但该部分的信息量不亚于目标高亮区域的信息量，因而有必要将目标区和阴影区的图像联合考虑，以期望获得更多有效的目标信息。那么对声呐目标高亮区和阴影区的同时提取并将两个区域的信息均用于目标识别中去，对提高声呐目标的识别效果是非常有效的。
[0005]基于以上考虑，本方法针对侧扫声呐目标检测识别开展研究，提出联合图像精准分割和目标阴影信息的侧扫声呐目标检测识别方法。根据侧扫声呐成像的特点，对侧扫声呐图像进行目标高亮区域和阴影区域的同步分割，最后将两个区域的信息量均作为后续检测识别的特征信息，从而完成侧扫声呐目标的识别工作。

技术实现思路

[0006]针对上述存在的技术问题，本专利技术公开了一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法。该方法从侧扫声呐图像的成像原理出发，充分考虑声影区的信息，首先针对侧扫声呐图像中存在的灰度差异过大和不同距离下的物理分辨率不同的问
题，利用侧扫声呐成像时的高度、角度等先验信息，自主对图像进行增益补偿和分辨率校正，实现自主增益补偿与校正技术。接下来将经过校正的声呐图像进行图像分割，基于改进DeepLabV3+网络模型分别对侧扫声呐图像中感兴趣目标的高亮区域和阴影区域进行特征提取与图像精准分割。分割完后运用侧扫声呐的成像原理和几何关系对同一个目标的高亮区域和阴影区域进行匹配，选择感兴趣目标。经过以上预处理操作后，最后利用YOLOv5s网络模型对分割结果图像进行声呐目标的检测识别，同时引入目标声影区信息以及图像精准分割，有效提升了声呐目标的识别精度。
[0007]本专利技术目的在于一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法，该方法的步骤如下：
[0008]S1:针对侧扫声呐图像中存在的由于距离远近导致能量衰减引起的灰度差异以及水下环境恶劣导致移动平台本身的不稳定引起的左右舷灰度差异过大，进行自主增益补偿。
[0009]S2:针对侧扫声呐图像中存在不同距离下的物理分辨率不同的问题，进行几何畸变校正。
[0010]S3:对经过校正后的侧扫声呐图像进行基于改进DeepLabV3+网络的图像分割，提取出侧扫声呐图像中感兴趣目标的高亮区域和阴影区域。
[0011]S4:得到分割区域后，运用侧扫声呐的成像原理和几何关系对同一个目标的高亮区域和阴影区域进行匹配。
[0012]S5:构建基于YOLOv5s网络的声呐目标检测模型，将经过校正和分割后的图像送入到网络中进行训练，并将训练好的模型用做真实声呐目标的检测识别。
[0013]S6:消融实验设置，验证声呐图像中阴影区域的有效性以及声呐图像分割的有效性。
[0014]进一步的，所述步骤S1包括一下步骤：
[0015]S11:寻找海底线：
[0016]海底线寻找由移动平台的姿态信息做参照，再左右精确搜寻海底线位置。在声呐数据采集时，将水下移动平台的高度信息和姿态信息进行存储，然后将声呐数据按ping条数进行解析，获得声强数据与高度信息，通过预先存储的高度信息，对海底线进行初步粗略的计算，由于侧扫声呐分为左舷和右舷，因而在进行从高度到图像像素位置点换算时按照如下：
[0017]line
orig
＝N
s
‑
(altitude*N
s
/range)
ꢀꢀꢀꢀꢀ
(1)
[0018]式中line
orig
表示声呐图像中初始海底线位置点，altitude表示高度信息，range表示声呐的工作范围，N
s
表示单侧舷获取的某一条(ping(n))声强数据采样点数。然后在初始值左右附近50个像素值内，寻找最大灰度值所对应像素点即为声呐的海底线位置点。
[0019]S12:计算出图像内拖鱼深度最大时对应的图像区的宽度：
[0020]航行器在水下移动时高度在不断变化，若将每条ping数据进行处理后图像会出现参差不齐的状态，由于最终要形成规整排列的图像数据，因而需寻找到最小区域范围。拖鱼深度最大时，所采集到的水下信息范围最小，从右舷的角度出发，采用N条数据形成完整的一幅侧扫声呐图像，定义各点声强值转换为的灰度值组成序列s(n,i)，其中n为ping的序列号，i为每条数据中的各点序列号。由上述算法寻找得到的第n条数据的海底线位置为a(n)，
从而可以根据下式计算出图像内拖鱼高度最大时对应的图像区的宽度N
min
：
[0021]N
min
＝min(N
s
‑
a(n)),n＝1...N
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0022]S13:统计各ping断面灰度的均值：
[0023]得到海底线位置和图像内拖鱼深度最大时对应的图像区的宽度后，需对区域内的所有像素点进行灰度校正。首先对图像纵向方向统计各ping断面(声呐图像横向固定，统计纵向方向)灰度的均值：
[0024][0025]S14:得到图像灰度校正因子序列：
[0026]得到纵向ping断面的灰度均值后，再从声呐图像横向方向做灰度均值，从而最后得到图像区域内所有像素点的灰度校正因子序列：
[0027][00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法，其特征在于，包括以下步骤：S1:针对侧扫声呐图像中存在的由于距离远近导致能量衰减引起的灰度差异以及水下环境恶劣导致移动平台本身的不稳定引起的左右舷灰度差异过大，进行自主增益补偿；S2:针对侧扫声呐图像中存在不同距离下的物理分辨率不同的问题，进行几何畸变校正；S3:对经过校正后的侧扫声呐图像进行基于改进DeepLabV3+网络的图像分割，提取出侧扫声呐图像中感兴趣目标的高亮区域和阴影区域；S4:得到分割区域后，运用侧扫声呐的成像原理和几何关系对同一个目标的高亮区域和阴影区域进行匹配；S5:构建基于YOLOv5s网络的声呐目标检测模型，将经过校正和分割后的图像送入到网络中进行训练，并将训练好的模型用做真实声呐目标的检测识别；S6:消融实验设置，验证声呐图像中阴影区域的有效性以及声呐图像分割的有效性。2.根据权利要求1所述的一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法，其特征在于，所述步骤S1包括以下步骤：S11:寻找海底线：海底线寻找由移动平台的姿态信息做参照，再左右精确搜寻海底线位置；由于侧扫声呐分为左舷和右舷，因而在进行从高度到图像像素位置点换算时按照如下规则：line
orig
＝N
s
‑
(altitude*N
s
/range)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)式中line
orig
表示声呐图像中初始海底线位置点，altitude表示高度信息，range表示声呐的工作范围，N
s
表示单侧舷获取的某一条(ping(n))声强数据采样点数；然后在初始值左右附近50个像素点内，寻找最大灰度值所对应像素点即为声呐的海底线位置点；S12:计算出图像内拖鱼深度最大时对应的图像区的宽度：从右舷的角度出发，采用N条数据形成完整的一幅侧扫声呐图像，定义各点声强值转换为的灰度值组成序列s(n,i)，其中n为ping的序列号，i为每条数据中的各点序列号；由上述算法寻找得到的第n条数据的海底线位置为a(n)，从而可以根据下式计算出图像内拖鱼高度最大时对应的图像区的宽度N
min
：N
min
＝min(N
s
‑
a(n)),n＝1
…
N
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)S13:统计各ping断面灰度的均值：得到海底线位置和图像内拖鱼深度最大时对应的图像区的宽度后，需对区域内的所有像素点进行灰度校正；首先对图像纵向方向统计各ping断面(声呐图像横向固定，统计纵向方向)灰度的均值：S14:得到图像灰度校正因子序列：得到纵向ping断面的灰度均值后，再从声呐图像横向方向做灰度均值，从而最后得到图像区域内所有像素点的灰度校正因子序列：
3.根据权利要求1所述的一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法，其特征在于，所述步骤S2包括以下步骤：S21:获得斜距、水平距离和深度三者之间的关系：根据声呐换能器的位置以及声波的射线方向可以获得斜距、水平距离和深度三者之间的几何关系，具体如下：式中，PlantRange表示水平距离，SlantRange表示倾斜距离，TowfishAlt表示换能器距离海底高度；TowfishAlt可通过声呐图像中的海底线检测获得；S22:根据几何关系获得原始斜距图像上的某点对应改正后的平距图像上的点：侧扫声呐分为左舷和右舷，设原始斜距图像上的某点P(x2,y2)对应改正后的平距图像上的点为P(x1,y1)，根据上述的几何关系可以得到平距点和斜距点的具体对应关系如下：左舷分辨率校正因子：右舷分辨率校正因子：其中，Res表示图像的分辨率，width表示图像宽度。4.根据权利要求1所述的一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法，其特征在于，所述步骤S3包括以下步骤：S31:构建分割网络模型：构建基于改进DeepLabv3+网络的声呐图像分割模型，替换原Xception系列网络为MobilenetV2作为主干特征提取网络；在Encoder和Decoder中加强特征网络提取，并采用交叉熵进行损失的计算，引入Dice loss指标对语义分割结果进行评价；S32:制作声呐图像数据集，并做模型训练：模型修改完后，制作声呐图像数据集，并做相应处理；声呐图像分割部分的目的是为了分割出由主动声波回波形成的目标高亮区域以及由物体遮挡形成的阴影区域，并不区分各自区域代表的目标类型，因而在分割任务中，对于数据集只标注两种类型，分别为高亮区域(light)以及阴影区域(dark)；经过实验收集，整理侧扫声呐图像训练集488张，验证集71张，测试集136张；将测试集和验证集中的每张图像进行目标亮区和阴影区域的标注，标注完后送入到网络中去，再修改网络中的类别参数、主干模型和预训练权重等，最终完成关于声呐图像分割模型的训练；S33:利用训练好的模型，对待分割的声呐图像进行目标亮区和声影区的分割，得到最终的图像分割结果：...

【专利技术属性】
技术研发人员：王惠刚，雷灿，
申请(专利权)人：西北工业大学深圳研究院，
类型：发明
国别省市：