一种基于空间特征自监督的水下目标检测方法技术

本发明专利技术是一种基于空间特征自监督的水下目标检测方法，包括如下步骤：步骤1：采集数据，构建检测任务所需的数据集；步骤2：行数据增强，扩充原有数据并进行手工标注；步骤3：搭建自监督对比学习网络，使用空间注意力和通道归一化使得主干网络适应水下目标检测任务；步骤4：构建水下目标检测网络框架；步骤5：训练水下目标检测网络，得到针对海产品的水下目标检测的网络的权重模型；步骤6：根据权重模型，对已划分的验证集进行结果预测来评估实际应用中的检测效果。发明专利技术能够有效地针对水下生物的特点进行对象识别定位；通过自监督学习，使得网络能适应特定的水下场景；本发明专利技术提出的方法可以完美地适应水下检测任务。以完美地适应水下检测任务。

【技术实现步骤摘要】
一种基于空间特征自监督的水下目标检测方法


[0001]本专利技术属于涉及自监督学习和水下目标检测领域，具体的说是涉及一种基于空间特征自监督的水下目标检测方法。

技术介绍

[0002]在计算机视觉中，目标检测是最重要的任务之一，它可以应用于海洋开发和海洋探测等许多场景。配备具有智能水下目标检测系统的自主式水下航行器对海洋资源的开发和保护具有重要意义。近年来，海参、海胆等海产品因其高营养价值受到很多人喜爱，但是人工打捞的成本很高，且长期的水下作业危害健康，甚至威胁生命。因此，使用水下航行器进行自主打捞具有实际意义。目前，水下目标检测主要依赖光学成像(相机)或声学成像(声呐)。声呐对物体的几何形状非常敏感，但它忽略了物体的光学颜色，成本偏高。光学图像是由摄像机产生的，能够准确地捕捉物体的形状和颜色。因此，基于相机的水下图像是低成本和流行的。随着目标检测和水下图像采集技术的发展，使得水下航行器自主打捞海产品成为可能。
[0003]水下图像会受到光线吸收和散射的影响，并且在水中，杂质会引入噪声并增加散射的影响。这些不利影响缩短了水中的可见距离，甚至引入了颜色失真等问题，限制了基于图像和视频的水下目标检测技术的实际应用。一些传统的目标检测算法由于未考虑水下环境和海洋生物的特性导致在实际应用中的检测效果很差。水下生物受习性影响，它们喜爱群居，导致特征重叠、冗余，这种现象在特征金字塔层更加严重。而且，由于拍摄的难度和地理位置造成的水体类型的差异，很难制作通用的水下数据集。因此，开发新的水下目标检测技术，对水下航行器的研究和应用至关重要。

技术实现思路

[0004]为了解决上述问题，本专利技术提供了一种基于空间特征自监督的水下目标检测方法，该方法在一阶段目标算法FCOS上进行改进，能够有效地针对水下生物的特点进行对象识别定位，可以完美地适应水下检测任务。
[0005]为了达到上述目的，本专利技术是通过以下技术方案实现的：
[0006]本专利技术是一种基于空间特征自监督的水下目标检测方法，该方法包括如下步骤：
[0007]步骤1：采集数据，确定所需检测的海产品主要类别并使用相机在水下拍摄不同种类的水下生物图片，构建检测任务所需的数据集，海产品主要为海参、海胆、贝壳、海星；
[0008]步骤2：数据扩充，使用颜色恢复、光照变化等图像增强方法对相机采集到的原始数据进行扩充，整理之后人工标注，生成图片的相应标签，最后使得训练集占80％，验证集占剩余的20％。
[0009]所述颜色恢复采用白平衡方式，具体包括如下步骤：
[0010]步骤2
‑
1：在采集完包含水下生物的图片后，将预先设置的比色卡置于水中，用相机拍摄带有标准比色卡的水下场景图片，
[0011]步骤2
‑
2：使用opencv将带有标准比色卡的水下图片离散化为红、绿、蓝三个通道，提取比色卡中为红、绿、蓝颜色的位置
[0012]步骤2
‑
3：根据红、绿、蓝颜色的位置获取像素值，通过与标准色彩的离散值进行对比，计算出实际补偿值，补偿值v的计算如下：
[0013]v
red
＝c
red
‑
c
′
red
[0014]v
green
＝c
green
‑
c
′
green
[0015]v
blue
＝c
blue
‑
c
′
blue
[0016]其中v有三个值，分别对应红、绿、蓝三个颜色通道，c
′
表示标准比色卡离散化后的像素值，c表示所提取颜色离散化后的像素值；
[0017]步骤2
‑
4：将所有采集的数据图像的三个颜色通道与对应的补偿值相加，得到最终的增强图片。
[0018]光照变化通过随机选取图片中的20％的区域，直接对这些区域进行赋值，使其像素值在240～255之间。
[0019]步骤3：搭建自监督对比学习网络，包含在线分支和目标分支，结合空间注意力和通道归一化建模通道特征关系，加速模型收敛速度，以实现高精度水下目标检测，自监督对比学习网络使用了空间注意力和通道归一化操作，并且不使用ImageNet等大型数据集预训练，有效地加快收敛速度并建模特征的空间特征关系，使得预训练的主干网络适应水下目标检测任务。不同于其他检测器使用的监督学习方法，自监督网络通过计算两个分支之间的差异，不断优化网络输出的特征表示。将水下数据集输入自监督学习网络，训练中采用AdamW作为优化函数，使用学习率余弦退火策略，完成训练后保存权重参数，用于初始化目标检测网络参数。
[0020]所述在线分支的特征编码器由ResNet50构成，所述在线分支包括特征编码器、空间特征注意力、通道归一化结构和两个线性投影层，所述特征编码器在最前面，所述空间特征注意力以所述特征编码器的输出为输入，通道归一化结构又以所述空间特征注意力的输出作为输入，最后将输出的特征经过两个线性投影层进行编码；所述目标分支的特征编码器由ResNet50构成，所述目标分支包括特征编码器和一个线性投影层，所述特征编码器的输出直接送入线性投影层。
[0021]步骤4：构建水下目标检测网络框架，所述水下目标检测网络框架包括特征提取主干网络、特征金字塔网络和基于特征解耦的特征选择检测头，特征提取网络由残差网络构成，特征金字塔网络设置了可学习参数，通过插值自适应地融合了所有特征，实现网络自身选择特征，得到每层特征最好的表述。在特征层后面设置3DMaxPooling层抑制冗余特征，提升特征质量，具体的：特征金字塔网络包含不同分辨率大小的5个层级，前三个层级P1、P2、P3由特征提取网络的后三层得到，P4、P5在P3的基础上分别做了一次和两次的下采样，其中步骤4中特征金字塔网络中5个层级的输出步骤为：
[0022]步骤4
‑
1：对5个层级设置学习参数，通过双线性插值实现不同层之间的融合，最终实现自适应的加权融合，特征金字塔层的处理表示为以下公式：
[0023]OUT
i
＝F(W
i1
*P1+W
i2
*P2+W
i3
*P3+W
i4
*P4+W
i5
*P5)
[0024]其中(w
i1
,w
i2
,w
i3
,w
i4
,w
i5
)表示不同层级间的可学习权重，(P1,P2,P3,P4,P5)表示五个层级不同分辨率的特征图，F表示使用3DMaxPooling；
[0025]步骤4
‑
2：在加权融合后引入3DMaxPooling进行特征冗余抑制，3DMaxPooling首先将输入特征图经过一个3
×
3卷积核，然后经过插值获得相邻层级之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空间特征自监督的水下目标检测方法，其特征在于：所述水下目标检测方法包括如下步骤：步骤1：采集数据，通过光学相机获取水下照片，包含所需检测的海产品，构建检测任务所需的数据集；步骤2：数据扩充，对步骤1获取的水下光学数据进行数据增强，扩充原有数据并进行手工标注，使得训练集占80％，验证集占剩余的20％；步骤3：搭建自监督对比学习网络，使用空间注意力和通道归一化使得主干网络适应水下目标检测任务；步骤4：构建水下目标检测网络框架，所述水下目标检测网络框架包括特征提取主干网络、特征金字塔网络和基于特征解耦的特征选择检测头；步骤5：训练水下目标检测网络，将采集的样本数据通过旋转、裁剪、缩放输入搭建好的网络，得到针对海产品的水下目标检测的网络的权重模型；步骤6：根据步骤5训练得到的权重模型，对已划分的验证集进行结果预测来评估实际应用中的检测效果。2.根据权利要求1所述一种基于空间特征自监督的水下目标检测方法，其特征在于：步骤4中特征金字塔网络包含不同分辨率大小的5个层级，前三个层级P1、P2、P3由特征提取网络的后三层得到，P4、P5在P3的基础上分别做了一次和两次的下采样。3.根据权利要求2所述一种基于空间特征自监督的水下目标检测方法，其特征在于：步骤4中特征金字塔网络中5个层级的输出步骤为：步骤4
‑
1：对5个层级设置学习参数，通过双线性插值实现不同层之间的融合，最终实现自适应的加权融合，特征金字塔层的处理表示为以下公式：OUT
i
＝F(W
i1
*P1+W
i2
*P2+W
i3
*P3+W
i4
*P4+W
i5
*P5)其中(w
i1
,w
i2
,w
i3
,w
i4
,w
i5
)表示不同层级间的可学习权重，(P1,P2,P3,P4,P5)表示五个层级不同分辨率的特征图，F表示使用3DMaxPooling；步骤4
‑
2：在加权融合后引入3DMaxPooling进行特征冗余抑制，3DMaxPooling首先将输入特征图经过一个3
×
3卷积核，然后经过插值获得相邻层级之间相同大小的特征图，通过3Dmaxpool挖掘潜在的空间特征关系，去除冗余的特征，特征冗余抑制的过程表示为以下公式：y
s
＝max{x
s,k
＝Bilinear(x
k
)}其中，s代表当前层的特征图，k表示相邻层级的特征图，y表示最终输出，Bilinear表示插值方式；步骤4
‑
3：最后将输入特征图与3Dmaxpool相加得到的结果送入GN
‑
RELU层。4.根据权利要求1所述一种基于空间特征自监督的水下目标检测方法，其特征在于：步骤4中所述特征选择检测头包括分类分支、回归分支和中心度分支，所述分类分支通过采样选择网格中间部分作为正样本，所述回归分支采用边界提取模块提取边界特征以进行更加精确的边界定位，所述中心度分支用来计算样本偏离中心的程度，其值在0到1之间。5.根据权利要求4所述一种基于空间特征自监督的水下目标检测方法，其特征在于：所述分类分支通过采样选择网络中间部分作为正样本的选择过程表示为以下公式：x
′1＝c
′
x
‑
0.5wε
y

【专利技术属性】
技术研发人员：范保杰，蔡达，丛杨，徐丰羽，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：