一种基于亮度补偿残差网络的水下图像增强方法技术

本发明专利技术公开了一种基于亮度补偿残差网络的水下图像增强方法，包括获取数据集；数据预处理：将图片裁剪为相同尺寸的大小，将RGB类型的图片转换为HSV类型，提取V通道并单独保存；模型训练：将RGB类型的训练集放入RGB多尺度残差子网络进行训练，得到增强网络1和输出结果；将V类型的训练集放入V通道亮度补偿子网络进行训练，得到增强网络2和输出结果；将两个的输出结果送入增强重构子网络得到最终的输出结果；模型测试：将测试集分别放入训练好的增强网络1和增强网络2，将输出结果一起送入增强重构子网络即可得到增强后的水下图片，本发明专利技术能够解决水下图像颜色失真、模糊、低对比度问题，通过亮度补偿进一步提高图像的细节信息。通过亮度补偿进一步提高图像的细节信息。通过亮度补偿进一步提高图像的细节信息。

【技术实现步骤摘要】
一种基于亮度补偿残差网络的水下图像增强方法


[0001]本专利技术涉及一种基于亮度补偿残差网络的水下图像增强方法，属于水下图像增强


技术介绍

[0002]近年来高质量的水下图像对于勘测海洋资源、保护海洋生物、防卫海洋安全等方面有着重要的意义。但是由于水下成像的复杂性，导致拍摄所得的图像存在严重的质量问题，不利于信息的获取与深入研究。因此，需要对水下图像进行增强与修复，以进一步提取更多有用信息。
[0003]水下图像呈现模糊、低对比度、颜色失真等问题是由于光在水下传播的特殊性。由于不同波长的光在水下传播时的衰减不同，导致水下图像出现颜色失真的问题。其次，水中悬浮粒子对光的散射作用，导致水下图像出现模糊、对比度低的问题。
[0004]水下图像处理技术，主要分为基于非物理模型的图像增强方法，基于物理模型的图像恢复方法和基于深度学习的图像增强方法。非物理模型方法主要是直接通过调整图像的像素值来改善效果，但是由于不考虑水下成像的光学特性，容易产生色差和伪影。基于物理模型的图像恢复方法是建立水下图像退化的数学模型，根据模型估计参数，然后反推得到清晰的水下图像，但是模型通常是基于一种先验性假设，具有一定的局限性。基于深度学习的水下图像增强方法分为卷积神经网络和对抗生成网络，通过构建相应的网络模型，通过大量成对数据的训练，可将低质量的水下图像转换为高质量的图像，但是仍存在部分细节丢失、过饱和等问题。

技术实现思路

[0005]本专利技术所要解决的技术问题是针对现有技术的现状，提供一种基于亮度补偿残差网络的水下图像增强方法，能够解决水下图像颜色失真、模糊、低对比度等问题，同时通过亮度补偿进一步提高图像的细节信息。
[0006]为解决上述技术问题，本专利技术所采用的技术方案是：
[0007]包括如下步骤：
[0008]S1、获取网络训练所需数据集：通过选取水下图片和相应的增强图片作为训练集和测试集；
[0009]S2、数据预处理：对图片的尺寸和类型进行相应处理；
[0010]S3、RGB多尺度残差子网络训练：将RGB类型的训练集放入RGB多尺度残差子网络进行训练，得到增强网络模型1和输出结果y1；
[0011]S4、V通道亮度补偿子网络训练：将V通道的训练集放入V通道亮度补偿子网络进行训练，得到增强网络模型2和输出结果y2；
[0012]S5、增强重构环节：将输出结果y1和y2放入增强重构子网络进行计算，得到最终的增强结果y；
[0013]S6、模型测试：将待测的数据集放入训练好的增强网络1、增强网络2，通过增强重构子网络计算后即可得到增强后的图片。
[0014]本专利技术技术方案的进一步改进在于：所述S1中从公开数据集UIEBD、EUVP、UFO
‑
120中随机选取6400张水下图片和相应的增强图片作为训练集；随机选取1600张水下图片包含或不包含相应的增强图片作为测试集。
[0015]本专利技术技术方案的进一步改进在于：所述S2的具体步骤包括：
[0016]将训练集和测试集裁剪为256
×
256的大小；原有的训练集和测试集是RGB类型的，将RGB类型转为HSV类型，提取亮度通道V并单独保存。
[0017]本专利技术技术方案的进一步改进在于：所述S3的具体步骤包括：
[0018]RGB多尺度残差子网络包括2个卷积层、3个多尺度残差块和1个激活函数，输入为RGB类型的水下图片x1，标签为相应的RGB类型的增强图片b1，输出为RGB类型的增强图片y1；损失采用的是感知损失L
con
和内容损失L2的线性组合；
[0019]第一个卷积层将输入图片x1的3通道转成64通道，经过RELU激活函数送入连续的3个多尺度残差块进行特征提取，最后经过第二个卷积层将通道数转为3，得到生成的增强图片y1；
[0020]多尺度残差块包含4个通道：第一个通道不做处理，第二个通道采用两个3
×
3的卷积，第三个通道采用2个3
×
3的空洞卷积，在增大感受野的同时，不引入额外的计算量，第四个通道采用res2net模块，将原先的3
×
3卷积替换成3个3
×
3卷积，增大了感受野；第二个通道的第一个卷积层的输出和第三个通道的第一个卷积层的输出通过拼接作为第二个通道的第二个卷积层的输入和第三通道的第二个卷积层的输入，第二个通道的输出和第三个通道的输出通过拼接的方式，再经过1
×
1卷积与第一通道和第四通道的输出相加作为整个多尺度残差块的输出；
[0021]内容损失L
21
是计算增强图片y1与标签b1的像素间损失；
[0022][0023]其中y
i
是RGB多尺度残差子网络训练的增强结果，b
i
是输入图片对应的增强图片，n是训练的图片数量；
[0024]感知损失L
con1
计算增强图片y1与标签b1的高级感知特征之间的损失，采用的ImageNet上预训练的VGG19模型；
[0025][0026]其中y
i
是RGB多尺度残差子网络训练的增强结果，b
i
是输入图片对应的增强图片，φ是预训练的VGG19网络，j表示该网络的第j层，C
j
H
j
W
j
是第j层特征图的形状，n是训练的图片数量；
[0027]总损失L
t1
是内容损失L
21
和感知损失L
con1
的线性组合；
[0028]L
t1
＝L2+L
con1
。
[0029]本专利技术技术方案的进一步改进在于：所述S4的具体步骤包括：
[0030]V通道亮度补偿网络包括卷积层、池化层、多尺度残差块、上采样和激活函数，输入为V通道水下图片x2，标签为相应的V通道增强图片b2，输出为V通道增强图片y2；损失采用的是感知损失L
con
、内容损失L2以及多尺度结构相似损失L
ms_ssim
的线性组合；
[0031]第一个卷积层将输入图片x2的单通道转成64通道，经过RELU激活函数得到特征f1，f1经过自适应池化将图片的尺寸从256
×
256变成128
×
128，然后通过1
×
1卷积，通道数由64变为128，送入第一个多尺度残差块得到特征f2，f2经过自适应池化将图片的尺寸从128
×
128变成64
×
64，然后通过1
×
1卷积，通道数由128变为256，送入第二个多尺度残差块得到特征f3，f3经过自适应池化将图片的尺寸从64
×
64变成32
×
32，然后通过1
×
1卷积，通道数由256变为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于亮度补偿残差网络的水下图像增强方法，其特征在于：包括如下步骤：S1、获取网络训练所需数据集：通过选取水下图片和相应的增强图片作为训练集和测试集；S2、数据预处理：对图片的尺寸和类型进行相应处理；S3、RGB多尺度残差子网络训练：将RGB类型的训练集放入RGB多尺度残差子网络进行训练，得到增强网络模型1和输出结果y1；S4、V通道亮度补偿子网络训练：将V通道的训练集放入V通道亮度补偿子网络进行训练，得到增强网络模型2和输出结果y2；S5、增强重构环节：将输出结果y1和y2放入增强重构子网络进行计算，得到最终的增强结果y；S6、模型测试：将待测的数据集放入训练好的增强网络1、增强网络2，通过增强重构子网络计算后即可得到增强后的图片。2.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法，其特征在于：所述S1中从公开数据集UIEBD、EUVP、UFO
‑
120中随机选取6400张水下图片和相应的增强图片作为训练集；随机选取1600张水下图片包含或不包含相应的增强图片作为测试集。3.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法，其特征在于：所述S2的具体步骤包括：将训练集和测试集裁剪为256
×
256的大小；原有的训练集和测试集是RGB类型的，将RGB类型转为HSV类型，提取亮度通道V并单独保存。4.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法，其特征在于：所述S3的具体步骤包括：RGB多尺度残差子网络包括2个卷积层、3个多尺度残差块和1个激活函数，输入为RGB类型的水下图片x1，标签为相应的RGB类型的增强图片b1，输出为RGB类型的增强图片y1；损失采用的是感知损失L
con
和内容损失L2的线性组合；第一个卷积层将输入图片x1的3通道转成64通道，经过RELU激活函数送入连续的3个多尺度残差块进行特征提取，最后经过第二个卷积层将通道数转为3，得到生成的增强图片y1；多尺度残差块包含4个通道：第一个通道不做处理，第二个通道采用两个3
×
3的卷积，第三个通道采用2个3
×
3的空洞卷积，在增大感受野的同时，不引入额外的计算量，第四个通道采用res2net模块，将原先的3
×
3卷积替换成3个3
×
3卷积，增大了感受野；第二个通道的第一个卷积层的输出和第三个通道的第一个卷积层的输出通过拼接作为第二个通道的第二个卷积层的输入和第三通道的第二个卷积层的输入，第二个通道的输出和第三个通道的输出通过拼接的方式，再经过1
×
1卷积与第一通道和第四通道的输出相加作为整个多尺度残差块的输出；内容损失L
21
是计算增强图片y1与标签b1的像素间损失；其中y
i
是RGB多尺度残差子网络训练的增强结果，b
i
是输入图片对应的增强图片，n是训
练的图片数量；感知损失L
con1
计算增强图片y1与标签b1的高级感知特征之间的损失，采用的ImageNet上预训练的VGG19模型；其中y
i
是RGB多尺度残差子网络训练的增强结果，b
i
是输入图片对应的增强图片，φ是预训练的VGG19网络，j表示该网络的第j层，C
j
H
j
W
j
是第j层特征图的形状，n是训练的图片数量；总损失L
t1
是内容损失L
21
和感知损失L
con1
的线性组合；L
t1
＝L2+L
con1
。5.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法，其特...

【专利技术属性】
技术研发人员：张文明，王斌，李雅倩，肖存军，
申请(专利权)人：燕山大学，
类型：发明
国别省市：