一种基于多尺度注意机制融合的水下图像增强方法技术

本发明专利技术为一种基于多尺度注意机制融合的水下图像增强方法，提供一种多尺度注意机制融合网络来恢复水下图像，包括以下步骤，首先原始的水下图像输入到解码器网络，经过处理后输出特征图，会进入到上述多尺度注意力密集模块，这一模块的加入改善了我们网络的性能，提高了增强图像的视觉效果。接着，经过多尺度注意力密集模块处理后的特征会输入到解码器网络中，最终解码器网络会输出一个增强后的图像。此外，我们还引入了角损失函数作为对生成器额外的监督。角损失函数的作用是提高生成的图像和原始图像之间的相似度，增加图像的清晰度，并减少了图像色彩的偏差。通过大量的实验结果表明，本发明专利技术方法优于现有的方法。本发明专利技术方法优于现有的方法。本发明专利技术方法优于现有的方法。

【技术实现步骤摘要】
一种基于多尺度注意机制融合的水下图像增强方法


[0001]本专利技术涉及水下图像处理的
，具体而言，尤其涉及一种基于多尺度注意机制融合的水下图像增强方法。

技术介绍

[0002]在水下活动中，光学成像系统经常被用来对水下事物进行图像记录。上述水下活动的效率基本上取决于所捕获图像的质量。然而，水下的退化场景可能会阻碍高级视觉任务的效果。用光学成像技术拍摄的水下照片，会由于光的散射和衰减，而导致低对比度、能见度差、特征模糊、颜色失真等问题。
[0003]计算机视觉技术在不断发展和进步，这一领域也受到越来越多的关注。为了解决上述水下图像退化的问题，人们将这种技术应用于水下图像增强领域。以前的许多方法都提出可以通过直接调整图像的像素值来改善视觉效果，如直方图变换、灰度边缘检测、白平衡等。然而，简单调整退化图像的像素值会导致放大噪声和色彩失真。于是，人们开始将小波变换应用于图像增强，从而去除水下图像噪声，效果显著。随着水下图像增强和修复方法逐渐成为一个热门研究课题，研究人员开始考虑水下图像的成像特性。他们提出了一些传统的水下图像增强方法。然而，这些方法忽略了水下成像的光学特性或是具有一定的局限性，会引入色彩偏差和伪影。最近，深度学习技术在计算机视觉任务中被广泛提出，并显示出强大的学习能力。许多研究都提出将深度学习技术应用于水下图像的增强，以解决水下图像的颜色失真和低能见度等问题。其中，基于生成对抗网络的方法在域适应的作用下，有效地提高了增强后的图像与原始图像之间的特征相似度。域适应使生成器试图混淆目标域和源域的特征，而判别器则试图区分这两个域。在基于对抗性训练的域适应作用下，网络特征提取的准确性得到提高，图像质量也得到改善。

技术实现思路

[0004]根据上述提出
技术介绍
中提到的技术问题，而提供一种基于多尺度注意机制融合的水下图像增强方法。本专利技术主要利用根据编码
‑
解码器以及多尺度注意力融合模块进行特征提取的方法，并基于生成对抗网络实现对水下图像有效的增强。
[0005]本专利技术采用的技术手段如下：
[0006]基于多尺度注意机制融合的水下图像增强方法，包括以下步骤：
[0007]步骤S01：获取原水下图像；将原始的水下图像输入编码器网络，通过在多个下采样模块间加入多尺度密集残差块对水下原始图像进行特征提取，获得提取后的特征图；
[0008]步骤S02：当上述编码器输出的特征图到达瓶颈层，通过多尺度注意力融合模块进行进一步的特征提取；多尺度注意力融合模块是将多尺度残差块和注意力机制模块相融合；
[0009]步骤S03：将经过多次提取后的特征图以及编码器中随机选取的部分特征图输入解码器结构，对特征图进行解码，获取经过生成器训练后的增强图像；解码器结构中在多个
上采样模块之间分别加入了注意力机制模块；
[0010]步骤S04：将生成器训练后的增强图像与增强后的图像一起输入判别器，训练判别器；
[0011]步骤S05：通过生成器与判别器之间的对抗训练，促使生成器生成最接近于真实值的图像用于训练生成器，获得最终的增强图像。
[0012]较现有技术相比，本专利技术具有以下优点：
[0013]本专利技术提出了新的多尺度注意力密集块(MSAB)，在不事先构建水下退化模型和图像的情况下，提取到水下图像的更多常见特征。
[0014]本专利技术采用了角度损失函数作为更有效的监督，使我们所提出的网络更有效地学习退化与清晰特征之间的映射。
[0015]本专利技术改进了编码器和解码器的网络结构，将采样操作与多尺度密集连接块和注意力机制结合，以提取更准确的图像特征。
[0016]基于上述理由本专利技术可在图像处理等领域广泛推广。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本专利技术的流程图。
[0019]图2为本专利技术与其他算法针对水下场景图像的增强效果对比图。其中，图2
‑1‑
1、图2
‑2‑
1、图2
‑3‑
1、图2
‑4‑
1为经过BRE算法处理之后的结果图；图2
‑1‑
2、图2
‑2‑
2、图2
‑3‑
2、图2
‑4‑
2为经过SDCP算法处理之后的结果图；图2
‑1‑
3、图2
‑2‑
3、图2
‑3‑
3、图2
‑4‑
3为经过WaterNet算法处理之后的结果图；图2
‑1‑
4、图2
‑2‑
4、图2
‑3‑
4、图2
‑4‑
4为经过UWCNN算法处理之后的结果图；图2
‑1‑
5、图2
‑2‑
5、图2
‑3‑
5、图2
‑4‑
5为经过FUnIEGAN算法处理之后的结果图；图2
‑1‑
6、图2
‑2‑
6、图2
‑3‑
6、图2
‑4‑
6为经过本文提出算法处理之后的结果图。
具体实施方式
[0020]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0021]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
[0022]如图1所示，本专利技术提供了一种基于多尺度注意机制融合的水下图像增强方法，包括以下步骤：
[0023]步骤S01：获取原水下图像；将原始的水下图像输入编码器网络，通过在多个下采样模块间加入多尺度密集残差块对水下原始图像进行特征提取，获得提取后的特征图。在本申请中，下采样模块包括：带LeakyReLU激活函数的4
×
4卷积块。
[0024]步骤S02：当上述编码器输出的特征图到达瓶颈层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度注意机制融合的水下图像增强方法，其特征在于，包括以下步骤：步骤S01：获取原水下图像；将原始的水下图像输入编码器网络，通过在多个下采样模块间加入多尺度密集残差块对所述水下原始图像进行特征提取，获得提取后的特征图；步骤S02：当上述编码器输出的特征图到达瓶颈层，通过多尺度注意力融合模块进行进一步的特征提取；所述多尺度注意力融合模块是将多尺度残差块和注意力机制模块相融合；步骤S03：将经过多次提取后的特征图以及所述编码器中随机选取的部分特征图输入解码器结构，对所述特征图进行解码，获取经过生成器训练后的增强图像；所述解码器结构中在多个上采样模块之间分别加入了注意力机制模块；步骤S04：将所述生成器训练后的增强图像与增强后的图像一起输入判别器，训练所述判别器；步骤S05：通过生成器与判别器之间的对抗训练，促使生成器生成最接近于真实值的图像用于训练生成器，获得最终的增强图像。2.根据权利要求1所述的基于多尺度注意机制融合的水下图像增强方法，其特征在于，所述步骤S03中从编码器网络直接输入到解码器网络中的的特征图通过跳链接来完成输入的。3.根据权利要求1所述的基于多尺度注意机制融合的水下图像增强方法，其特征在于，所述步骤S04中的生成器就是所述步骤S01中的编码器、所述步骤S03中的解码器及所述步骤S02中的位于瓶颈层的多尺度注意力融合模块的组合。4.根据权利要求1所述的基于多尺度注意机制融合的水下图像增强方法，其特征在于，所述步骤S05中的对抗训练是通过条件对抗损失函数L
cGAN
、全局损失函数L1、内容感知函数L
con
以及角损失函数L
angular
的监督来达到训练目的，各项损失函数的计算公式如下：L
cGAN
(G,D)＝Ε
X,Y
[logD(Y)]+Ε
X,Y
[log(1
‑
D(X,G(X,Z)))]；(1)其中，G表示生成器，D表示判别器，X表示为输入图像，Y表示真实值图像，Z表示噪声，G(X,Z)代表生成器生成的图像，D(X,G(X,Z))代表判别器的鉴别结果；L1(G)＝Ε
X,Y,Z
[||Y
‑
G(X,Z)||1]；(2)其中，G表示生成器，X表示为输入图像，Y表示真实值图像，Z为噪声，G(X,Z)表示生成器生成的图像；L<...

【专利技术属性】
技术研发人员：周景春，吴晨雨，李超磊，秦肯，张维石，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：