一种基于改进生成对抗网络模型的水下图像修复方法技术

本发明专利技术公开了一种基于改进生成对抗网络模型的水下图像修复方法，包括：获得待处理的水下图像；构建生成对抗网络模型，并利用水下图像样本数据集的图像样本训练生成对抗网络模型，将训练之后的生成对抗网络模型作为水下图像修复模型；将待处理的水下图像输入至水下图像修复模型中，利用生成器生成图像，完成水下图像的修复

【技术实现步骤摘要】
一种基于改进生成对抗网络模型的水下图像修复方法


[0001]本专利技术涉及，特别涉及一种基于改进生成对抗网络模型的水下图像修复方法
。

技术介绍

[0002]由于陆地资源的大量消耗，对海洋资源的开发日益迫切
。
水下图像是海洋信息的载体，对获取海洋信息和资源勘测有着重要的意义
。
不同波长的光在水下传播有着不同的衰减率，其中，波长最长的红光在水中衰减最快，波长较短的蓝绿光衰减相对较慢，所以水下图像通常呈现蓝绿色
。
此外，由于光的散射作用，导致水下图像还有着对比度低，清晰度模糊的特点
。
因此，如何解决水下图像色彩失真
、
细节丢失
、
对比度低是当前面临的主要挑战
。
[0003]目前，水下图像增强方法一般分为传统方法和数据驱动的方法
。
而传统方法主要分为两种：一种是通过像素点来增强图像，此类算法在一定程度上提高了图像的视觉效果，然而，此类方法计算成本较高，增强效果不稳定
。
另一种是基于物理模型对图像进行增强，此类方法通过水下图像退化过程进行具体的数学建模，根据模型估算未知参数，此类方法过度依赖成像模型和先验信息，对不同场景下的水下图像泛化能力较差，图像增强效果不佳
。

技术实现思路

[0004]专利技术目的：针对以上问题，本专利技术目的是提供一种基于改进生成对抗网络模型的水下图像修复方法
。
[0005]技术方案：本专利技术的一种基于改进生成对抗网络模型的水下图像修复方法，包括以下步骤：
[0006]步骤1，获得待处理的水下图像；
[0007]步骤2，构建生成对抗网络模型，并利用水下图像样本数据集的图像样本训练生成对抗网络模型，将训练之后的生成对抗网络模型作为水下图像修复模型；其中，生成对抗网络模型包括生成器和判别器，生成器包括第一编码块
、
第二编码块
、
多尺度三重注意力模块以及解码块，第一编码块的输出端连接多尺度三重注意力模块的输入端，多尺度三重注意力模块的输出端和第二编码块的输出端分别连接解码块的输入端，将解码器的输出端输出图像作为生成器生成的图像；
[0008]步骤3，将待处理的水下图像输入至水下图像修复模型中，利用生成器生成图像，完成水下图像的修复
。
[0009]进一步，利用水下图像样本数据集的图像样本训练生成对抗网络模型的步骤包括：
[0010]将图像样本输入至生成器，然后将真实图像和生成器输出的图像输入至判别器，将生成器和判别器之间交替迭代，达到纳什均衡状态且损失函数数值符合设定时，完成训练
。
[0011]进一步，在生成对抗网络模型训练过程中，损失函数的计算过程包括计算对抗损失
、L1
损失以及内容感知损失，其中利用对抗损失捕获高频特征，利用
L1
损失捕获低频特征，利用内容感知损失获得真实的图像，计算过程如下：
[0012]计算对抗损失的表达式为：
[0013]L
GAN
＝
E(y){log[D(y)]}+E(x){log{1
‑
D[G(x,z)]}}
[0014]式中，
y
为参考图像，
E
表示数学期望，
D
为判别器，
G
为生成器，
x
为水下图像，
z
为水下白平衡图像，
G(x,z)
表示生成器生成的假样本，
D[G(x,z)]是判别器判断生成器生成的样本为真或假，真实图像判别为1，生成的假图像判别为0；
[0015]计算
L1
损失的表达式为：
[0016]L1＝
E
x,y
[||y
‑
G(x,z)||1][0017]式中，
E
x,y
表示数学期望，
||||1表示
l1
范数；
[0018]计算内容感知损失的表达式为：
[0019]L
con
＝
E
x,y
{||
Φ
(y)
‑
Φ
[G(x,z)]||2}
[0020]式中，
Φ
()
表示内容函数；
||||2表示
l2
范数；
[0021]加入超参数对以上3个损失函数进行调节，最后采用的总损失函数表达式为：
[0022]L
＝
L
GAN
+
λ1L1+
λ2L
con
[0023]式中，
λ1为
L1损失的权重，
λ2为内容感知损失的权重，
λ1+
λ2＝
1。
[0024]进一步，多尺度三重注意力模块包括三个分支，每个分支包括不同扩张率的卷积层，在每个分支的卷积层后分别连接一个三重注意力机制模块，然后将三个分支的特征拼接到一起，再经过卷积
、
批量归一化和激活函数后，最后与多尺度三重注意力模块的输入项相加，作为多尺度三重注意力模块的输出项
。
[0025]进一步，第一编码块与解码块之间跳跃连接，第二编码块与解码块之间跳跃连接
。
[0026]进一步，第一编码模块和第二编码模块的结构相同，均包括5个卷积块，每个卷积块包括依次设置的卷积层
、
批量归一化层和激活函数层
。
[0027]进一步，第一编码块的输入项为水下图像，第二编码块的输入项为水下白平衡图像
。
[0028]有益效果：本专利技术与现有技术相比，其显著优点是：本专利技术以生成对抗网络为基础框架，利用预处理通过输入白平衡图像的方式，来校正水下图像的色偏，结合多尺度结构和三重注意力设计多尺度三重注意力模块并引入到生成器中，实现了不同层次特征的通道维度和空间维度进行跨维度交互，使网络更好地学习水下图像特征和抑制噪声特征，提升了网络的特征提取能力；在两编码块与解码块中引入批量归一化和激活函数，利用批量归一化提高模型训练速度，以提高网络的泛化能力，防止过拟合；利用激活函数加速模型收敛
。
附图说明
[0029]图1为实施例中的生成器结构示意图；
[0030]图2为实施例中的改进生成对抗网络模型的结构框图；
[0031]图3为实施例中的生成器的结构框图；
[0032]图4为实施例中的三重注意力机制的结构框图；
[0033]图5为实施例中的多尺度三重注意力模块的结构框图；
[0034]图6为实施例中的判别器的结构框图
。
具体实施方式
[0035]为了使本申请的目的
、
技术方案及优点更加清楚明白，以下结合附图及实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于改进生成对抗网络模型的水下图像修复方法，其特征在于，包括以下步骤：步骤1，获得待处理的水下图像；步骤2，构建生成对抗网络模型，并利用水下图像样本数据集的图像样本训练生成对抗网络模型，将训练之后的生成对抗网络模型作为水下图像修复模型；其中，生成对抗网络模型包括生成器和判别器，生成器包括第一编码块
、
第二编码块
、
多尺度三重注意力模块以及解码块，第一编码块的输出端连接多尺度三重注意力模块的输入端，多尺度三重注意力模块的输出端和第二编码块的输出端分别连接解码块的输入端，将解码器的输出端输出图像作为生成器生成的图像；步骤3，将待处理的水下图像输入至水下图像修复模型中，利用生成器生成图像，完成水下图像的修复
。2.
根据权利要求1所述的基于改进生成对抗网络模型的水下图像修复方法，其特征在于，利用水下图像样本数据集的图像样本训练生成对抗网络模型的步骤包括：将图像样本输入至生成器，然后将真实图像和生成器输出的图像输入至判别器，将生成器和判别器之间交替迭代，达到纳什均衡状态且损失函数数值符合设定时，完成训练
。3.
根据权利要求2所述的基于改进生成对抗网络模型的水下图像修复方法，其特征在于，在生成对抗网络模型训练过程中，损失函数的计算过程包括计算对抗损失
、L1
损失以及内容感知损失，其中利用对抗损失捕获高频特征，利用
L1
损失捕获低频特征，利用内容感知损失获得真实的图像，计算过程如下：计算对抗损失的表达式为：
L
GAN
＝
E(y){log[D(y)]}+E(x){log{1
‑
D[G(x,z)]}}
式中，
y
为参考图像，
E
表示数学期望，
D
为判别器，
G
为生成器，
x
为水下图像，
z
为水下白平衡图像，
G(x,z)
表示生成器生成的假样本，
D[G(x,z)]
是判别器判断生成器生成的样本为真或假，真实图像判别为1，生成的假图像判别为0；计算
L1
损失的表达式为：<...

【专利技术属性】
技术研发人员：陆康，陈海秀，何珊珊，房威志，黄仔洁，陆成，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：