基于自对抗生成对抗网络的水下图像增强方法技术

本发明专利技术公开了基于自对抗生成对抗网络的水下图像增强方法，该方法基于自对抗模式和双输入式判别器来实现水下图像质量提高。通过自对抗模式给增强过程添加一条新的约束，即约束生成器使第二次生成的图像优于第一次生成的图像。通过双输入式判别器加强了判别器对生成器的指导作用，进一步提高增强后图像的质量。进一步提高增强后图像的质量。进一步提高增强后图像的质量。

【技术实现步骤摘要】
基于自对抗生成对抗网络的水下图像增强方法


[0001]本专利技术属于图像处理
，具体涉及基于自对抗生成对抗网络的水下图像增强方法。

技术介绍

[0002]由于水下图像没有参考图像，水下图像增强数据集中的成对水下图像往往是通过生成退化水下图像或对水下图像进行增强得到的，在使用这些图像训练模型时，增强后图像的质量只能接近于原始水下图像的质量或其他方法增强后的水下图像的质量。不使用成对数据而是使用水下图像和自然图像进行训练的方法，虽然提高了增强后图像质量的上限，但由于使用了两个不同域的图像，会导致增强结果不自然，图像质量退化。

技术实现思路

[0003]本专利技术提出一种基于自对抗生成对抗网络的水下图像增强方法，实现不需要水下参考图像，而是在常用的自然图像质量数据库上进行训练，将质量改进转移到低质量水下图像上实现水下图像增强。
[0004]为了实现上述目的，本专利技术采用的技术方案如下：基于自对抗生成对抗网络的水下图像增强方法，采用自对抗模式，其整体结构如图1所示，自对抗模式并没有相应的参考图像作为训练的最终目标，在自对抗模式中输入图像经过生成器G后得到输出图像，输出图像再次输入到生成器G中得到输出图像G(G(x))，两幅输出图像同时输入到判别器D中进行判别，目的在于约束生成器，使第二次生成的图像优于第一次生成的图像。
[0005]自对抗模式的整体优化目标为：
ꢀꢀꢀꢀꢀ
（4
‑
1）自对抗模式首先由生成器G得到一幅输出图像：然后将输入到生成器中得到G(G(x))，此时，固定生成器G训练判别器D：（4
‑
2）在公式4
‑
2中，来自生成器的第二次输出图像G(G(x))希望被D判别为正样本，而第一次输出的图像希望被判别为负样本，此时训练生成器G：
ꢀꢀꢀꢀꢀꢀꢀꢀ
（4
‑
3）在公式4
‑
3中，则希望第一次输出的图像要优于第二次输出图像G(G(x))，以此形成生成器和判别器之间的对抗，但是与对抗训练不同，在这个对抗过程中，并没有一组真正的正样本来与负样本之间形成对抗，而是负样本处于与其自身的对抗状态。
[0006]基于自对抗模式的生成对抗水下图像增强方法：
本文提出的方法由一个生成器和两个判别器组成，方法的整体流程如图2所示，图中x为低质量图像，y为高质量图像，G是生成器，D是对抗训练的判别器，是自对抗模式的判别器，两个判别器的结构均为提出的双输入图像质量对比模型结构，而不是传统的单输入二分类器结构来判断图像真假，因此能获得更好的判别效果。G(x)是第一次增强后的图像，G(G(x))是第二次增强得到的图像。其中，判别器和生成器G共同构成了自对抗模式。原始图像x经过生成器G增强后，输入到判别器D中与高质量图像y进行判别，然后再次输入到生成器G中进行增强，然后由自对抗判别器对两幅增强后的图像进行判别，通过判别器的来约束生成过程中的质量改进，通过反复迭代增强得到质量更好的图像。另外，判别器D是Patch
‑
GAN结构和判别器是二分类判别器结构，两者结合可以从全局和细节两个角度进行判别。
[0007]与现有水下图像处理技术相比，上述技术方案可以得到以下有益效果：该方法基于自对抗模式和双输入式判别器来实现水下图像质量提高，通过自对抗模式给增强过程添加一条新的约束，即约束生成器使第二次生成的图像优于第一次生成的图像，通过双输入式判别器加强了判别器对生成器的指导作用，进一步提高增强后图像的质量。
[0008]同时，还使用未配对的自然图像进行训练，然后将质量改进迁移到水下图像上，既在一定程度上解决了成对水下图像数量不足的问题，同时也解决了使用现有的水下图像增强数据集中人工方法生成的成对水下图像训练时存在的问题。实验证明，本方法可以有效地实现水下图像质量的改善，而且生成的图像在视觉上更加美观。
附图说明
[0009]图1是自对抗模式结构图。
[0010]图2是方法流程图。
[0011]图3是生成器结构。
[0012]图4是判别器D结构图。
[0013]图5是判别器结构图。
[0014]图6是KADID
‑
10k数据集部分图像。
[0015]图7是KonIQ
‑
10k数据集中部分高质量图像。
[0016]图8是本专利技术方法增加结果和U45数据集中8种方法的增强结果图。
[0017]图9是本专利技术方法与其他5种较为先进的水下图像增强方法在U45数据集上进行对比图。
具体实施方式
[0018]下面结合附图对本专利技术做进一步的说明：基于自对抗生成对抗网络的水下图像增强方法，其特征在于：所述方法采用自对抗模式，自对抗模式的结构是输入图像x经过生成器G后得到输出图像，输出图像
再次输入到生成器G中得到输出图像，两幅输出图像同时输入到判别器D中进行判别，约束生成器D，使输出图像优于输出图像；自对抗模式的整体优化目标为：（4
‑
1）自对抗模式首先由生成器G得到一幅输出图像：然后将输入到生成器中得到G(G(x))，此时，固定生成器G训练判别器D：（4
‑
2）在公式4
‑
2中，来自生成器的第二次输出图像G(G(x))希望被D判别为正样本，而第一次输出的图像希望被判别为负样本，此时训练生成器G：（4
‑
3）在公式4
‑
3中，则希望第一次输出的图像要优于第二次输出图像G(G(x))，以此形成生成器和判别器之间的对抗，但是与对抗训练不同，在这个对抗过程中，并没有一组真正的正样本来与负样本之间形成对抗，而是负样本处于与其自身的对抗状态。
[0019]自对抗模式具体应用到水下图像增强方法如下：S1:原始输入图像x经过生成器G增强后，得到输出图像并输入到判别器D中与高质量图像y进行判别，更新并固定判别器D，更新生成器G；S2: 输出图像再次输入到生成器G中进行增强得到输出图像，输出图像G(G(x))和高质量图像y输入到判别器D中进行判别，并更新判别器D；S3:自对抗判别器对增强后输出图像和输出图像进行判别，通过判别器来约束生成过程中的质量改进，反复迭代增强得到质量更好的图像。
[0020]其中生成器G是一个编解码网络，总体结构如图3所示。编码部分由卷积核大小为3
×
3卷积连接组成，在每次卷积后增加残差块以增强网络深度和特征提取能力。在每次卷积前使用反射填充确保图像的特征图大小是每次下采样前大小的一半。在每个卷积层之后，使用Batch
‑
norm层和LeakyReLU激活函数来增加网络的鲁棒性和非线性。解码部分由多个上采样级联组成。在每个上采样后，在增加一个残差块来增强了解码部分的图像重建能力。在编码和解码之间采用跳跃连接，以补充下采样过程中丢失的图像信息。最后采用Tanh激活函数避免梯度消失问题。
[0021]判别器具体是使用双重判别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自对抗生成对抗网络的水下图像增强方法，其特征在于：所述方法采用自对抗模式，自对抗模式的结构是输入图像x经过生成器G后得到输出图像，输出图像再次输入到生成器G中得到输出图像，两幅输出图像同时输入到判别器D中进行判别，约束生成器D，使输出图像优于输出图像，自对抗模式具体应用到水下图像增强方法如下：S1:原始输入图像x经过生成器G增强后，得到输出图像并输入到判别器D中与高质量图像y进行判别，更新并固定判别器D，更新生成器G；S2: 输出图像再次输入到生成器G中进行增强得到输出图像，输出图像G(G(x))和高质量图像y输入到判别器D中进行判别，并更新判别器D；S3:自对抗判别器对增强后输出图像和输出图像进行判别，通过判别器来约束生成过程中的质量改进，反复迭代增强得到质量更好的图像。2.根据权利要求1所述的基于自对抗生成对抗网络的水下图像增强方法，其特征在于：自对抗模式的整体优化目标为：
ꢀꢀꢀꢀꢀ
（4
‑
1）自对抗模式首先由生成器G得到一幅输出图像：然后将输入到生成器G中得到，此时，固定生成器G训练判别器D：（4
‑
2）在公式4
‑
2中，来自生成器G的第二次输出图像希望被判别器D判别为正样本，而第一次输出的图像希望被判别为负样本，此时训练生成器G：（4
‑
3）在公式4
‑
3中，则希望第一次输出的图像要优于第二次输出图像，以此形成生成器和判别器之间的对抗。3.根据权利要求1或2所述的基于自对抗生成对抗网络的水下图像增强方法，其特征在于：所述生成器G为编解码网络，编码部分由卷积核大小为3
×
3卷积连接组成，在每次卷积后增加残差块以增强网络深度和特征提取能力；在每次卷积前使用反射填充确保图像的特征图大小...

【专利技术属性】
技术研发人员：杨淼，董金耐，王海文，邹晔，谢卓冉，蔡立鹏，张汉森，蒋海阳，
申请(专利权)人：江苏海洋大学，
类型：发明
国别省市：