一种基于缺陷协同训练和特征融合的水下图像分割算法制造技术

本发明专利技术公开了一种基于缺陷协同训练和特征融合的水下图像分割算法，属于图像处理和深度学习技术领域。一种基于缺陷协同训练和特征融合的水下图像分割算法，首先从主分割网络中获得前景和背景的预测，然后从两个分支中提取错误检测区域的引导特征并将其与主分割网络特征融合，引导主分割器完善分割结果，协同训练模型以提高主分割网络分割性能；本发明专利技术能够提取图像中的目标，为后续处理做好准备，对整个图像处理的结果意义深远。个图像处理的结果意义深远。个图像处理的结果意义深远。

【技术实现步骤摘要】
一种基于缺陷协同训练和特征融合的水下图像分割算法


[0001]本专利技术涉及图像处理和深度学习
，尤其涉及一种基于缺陷协同训练和特征融合的水下图像分割算法。

技术介绍

[0002]近年来，水下机器人被广泛应用于海洋资源探索等方面，水下图像是认识和分析水下环境的关键工具。海洋环境复杂度多样，多重不利因素如光在水中传输时会受到水的吸收、反射和散射等影响而发生严重的衰减,采集到的水下图像难免会出现可见范围有限、模糊不清、低对比度、非均匀光照、色彩不协调以及噪声等问题。这些特征导致水下图像处理和识别的难度增加。
[0003]图像分割是一种基本的计算机视觉技术，是图像识别等高层次视觉技术前的重要步骤，目的是提取图像中的目标，为后续处理做好准备，对整个图像处理的结果意义深远，鉴于此，我们提出了一种基于缺陷协同训练和特征融合的水下图像分割算法。

技术实现思路

[0004]本专利技术的目的在于提供一种基于缺陷协同训练和特征融合的水下图像分割算法，能够提取图像中的目标，为后续处理做好准备，对整个图像处理的结果意义深远。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]一种基于缺陷协同训练和特征融合的水下图像分割算法，包括以下步骤：
[0007]S1、提出的模型和学习：
[0008]S1.1、将粗略的分割结果通过带有矩阵融合的误差网络来完善，直到获得一个满意的分割结果；
[0009]S1.2、模型训练：
[0010]S1.2.1、取x∈X，分割网络预测同等大小为H
×
W
×
O的前景S
F
(x)和背景S
B
(x),其中O的值由具体任务定义；
[0011]S1.2.2、x和S(x)连接，输入到缺陷检测网络E中，输出同等大小为H
×
W
×
1的前景缺陷概率图E
F
(x，S
F
(x)和背景缺陷概率图E
B
(x，S
B
(x)；
[0012]S1.2.3、根据GAN的思想分两步迭代训练模型；
[0013]S1.3、固定缺陷检测网络F，训练主分割器，对于有标签的数据，预测的前景S
F
(x)和背景S
B
(x)被Y
F
和Y
B
监督为：
[0014][0015][0016]其中，R(
‑
，
‑
)是一个特定任务的约束，(h，w，o)是一个像素索引；
[0017]S1.4、通过关注缺陷区域，融合整个图像和错误分割信息，引导主分割器完善结
果，提高分割性能；
[0018]S2、损失函数：
[0019]S2.1、缺陷损失函数L
E
：
[0020]通过平均平方差(MES)对缺陷检测网络E进行训练，其公式为：
[0021][0022][0023]式中，|S
F
(x)
‑
Y
F
|是缺陷检测网络E的金标准；
[0024]S2.2、缺陷修正损失函数L
X
：
[0025]通过缺陷修正损失函数L
X
修正缺陷检测网络E的不靠谱预测，强迫缺陷概率图中的值变为0，其具体计算公式为：
[0026][0027][0028]通过二进制掩码M(x)对模型中具有不可预测的像素进行启用缺陷修正损失函数L
X
来修正；
[0029]S2.3、总损失函数L
TOTAL
：
[0030]其公式为：
[0031][0032]式中：K为背景F或背景B，τ
X
和τ
E
是平衡总损失函数L
TOTAL
的超参数。
[0033]优选地，所述S1.1中提到的错略的分割结果由U
‑
net分割网络获得，采用U
‑
net作为主要的分割器，用S表示分割网络，E表示缺陷检测网络，给定一个带有金标准Y的数据集X，根据金标准计算出前景GroundTruth Y
F
和背景GroundTruth Y
B
。
[0034]优选地，所述S1.2.2中提到的缺陷检测网络E的目标是学习缺陷概率图E
F
(x,S
F
(x)(E
B
(x,S
B
(x))，即S
F
(x)(S
B
(x)与前景GroundTruth Y
F
(背景GroundTruth Y
B
)之间的差距。
[0035]优选地，所述S1.3
‑
S1.4在进行错误预测时，从缺陷网络的编码器中提取特征作为引导特征(G
F
)(G
B
)，而不是直接使用误差区域预测E
F
(x,S
F
(x)(E
B
(x,S
B
(x))，在主分割网络S的编码器的每一层将引导特征(G
F
)(G
B
)分别与主分割器特征S
F
(x)(S
B
(x))融合，具体来说，包括有以下步骤：
[0036]A1、通过元素相乘的方式提取G
F
和S
F
(x)(G
B
和S
B
(x))共同部分M
s
；
[0037]A2、通过元素相加的方式将A1中得到的共同部分M
s
与原始主分割器特征E
F
(x,S
F
(x)(E
B
(x,S
B
(x))相结合；
[0038]A3、保持错误分割的细节，将主分割特征E
F
(x,S
F
(x)(E
B
(x,S
B
(x))进一步与缺陷网络的引导特征(G
F
)(G
B
)连接，其公式如下：
[0039]E
F
(x,S
F
(x)＝concat(E
F
(x,S
F
(x)+M
S
，G
F
)
[0040]E
B
(x,S
B
(x)＝concat(E
B
(x,S
B
(x)+M
S
,G
B
)
[0041]式中，M
S
()模块是由卷积块，批量规范和激活函数组合而成。
[0042]与现有技术相比，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于缺陷协同训练和特征融合的水下图像分割算法，其特征在于，包括以下步骤：S1、提出的模型和学习：S1.1、将粗略的分割结果通过带有矩阵融合的误差网络来完善，直到获得一个满意的分割结果；S1.2、模型训练：S1.2.1、取x∈X，分割网络预测同等大小为H
×
W
×
O的前景S
F
(x)和背景S
B
(x),其中O的值由具体任务定义；S1.2.2、x和S(x)连接，输入到缺陷检测网络E中，输出同等大小为H
×
W
×
1的前景缺陷概率图E
F
(x，S
F
(x)和背景缺陷概率图E
B
(x，S
B
(x)；S1.2.3、根据GAN的思想分两步迭代训练模型；S1.3、固定缺陷检测网络F，训练主分割器，对于有标签的数据，预测的前景S
F
(x)和背景S
B
(x)被Y
F
和Y
B
监督为：监督为：其中，R(
‑
，
‑
)是一个特定任务的约束，(h，w，o)是一个像素索引；S1.4、通过关注缺陷区域，融合整个图像和错误分割信息，引导主分割器完善结果，提高分割性能；S2、损失函数：S2.1、缺陷损失函数L
E
：通过平均平方差(MES)对缺陷检测网络E进行训练，其公式为：ES)对缺陷检测网络E进行训练，其公式为：式中，|S
F
(x)
‑
Y
F
|是缺陷检测网络E的金标准；S2.2、缺陷修正损失函数L
X
：通过缺陷修正损失函数L
X
修正缺陷检测网络E的不靠谱预测，强迫缺陷概率图中的值变为0，其具体计算公式为：为0，其具体计算公式为：通过二进制掩码M(x)对模型中具有不可预测的像素进行启用缺陷修正损失函数L
X
来修
正；S2.3、总损失函数L
TOTAL
：其公式为：式中：K为背景F或背景B，τ
X
和τ
E
是平衡总损失函数L
TOTAL
的超参数。2.根据权利要求1所述的一种基于缺陷协同训练和特征融合的水下图像分割算法，其特征在于：所述S1.1中提到的错略的分割结果由U
‑
net分割网络获得，采用U
‑
net作为主要的分割器，用S表示分割网络，E表示缺陷检测网络，给定一个带有金标准Y的数据集X，根据金标准计算出前景GroundTruth Y
F
和背景GroundTruth Y
B
...

【专利技术属性】
技术研发人员：沈薪童，曾少凡，刘瑞，王中帅，
申请(专利权)人：桂林日盛水务有限公司，
类型：发明
国别省市：