一种基于图像处理与深度学习的水下图像增强方法技术

本发明专利技术公开了一种基于图像处理与深度学习的水下图像增强方法，包括将原始图像分别输入颜色校正模块和对比度增强模块，得到校正图像I

【技术实现步骤摘要】
一种基于图像处理与深度学习的水下图像增强方法


[0001]本专利技术涉及海洋工程研究领域，尤其涉及一种基于图像处理与深度学习的水下图像增强方法。

技术介绍

[0002]水下成像对于许多生物资源和矿物的勘探具有重要意义，虽然随着相机的发展，光学机器人以及海洋工程的增加，近些年水下视觉获得了极大的关注，但是水下作业的开展都需要对图像进行预先的处理，以便得到更好的特征和视觉效果。然而，在浑浊的水域，水下环境对光线的吸收差异导致水下图像三个通道值各不相同，其中红色的衰减程度最高，其次蓝绿，因此水下图像整体偏蓝绿色，要去除突出的颜色，如蓝色和绿色，并保持亮度和清晰度，这是一项具有挑战性的任务。
[0003]早期使用基于物理模型的图像恢复方法或基于非物理模型的图像增强方法，可以提高水下图像的质量。基于物理模型的方法容易受到模型假设、参数和噪声的影响，在复杂的水下环境中效果不是很稳定。现有的深度学习增强图像方法可以分为基于深度卷积网络CNN和生成对抗网络GAN方法，CNN在图像恢复领域被广泛应用于各种应用，包括图像去噪、图像去雾、图像超分辨率和低照度增强等。由于水下环境复杂，缺乏高质量的图像与已知退化的图像匹配训练，故CNN水下图像增强的发展效果一度陷入停滞状态。涉及到卷积运算有一个明显的缺点，即它只作用于局部邻域，容易丢失全局信息。近些年来注意力机制逐步被应用到视觉领域，注意机制使网络忽略无关信息，关注关键信息，具有注意力机制的多尺度可变形卷积网络的出现提高了水下图像的质量。
[0004]现有学习模型的局限性体现在现有深度学习方法大多采用基于有监督学习模型的学习方法，只能在合成的图像训练数据集上进行有监督训练，由于合成图像训练数据的局限性，导致有监督学习的模型及方法在真实图像上应用时处理结果往往比在合成图像上表现差。

技术实现思路

[0005]专利技术目的：本专利技术的目的是提供一种基于图像处理与深度学习的水下图像增强方法，提高水下相机成像的分辨率以及颜色校正的质量。
[0006]技术方案：本专利技术包括如下步骤：
[0007](1)将原始图像分别输入颜色校正模块和对比度增强模块，得到校正图像I
DR
和增强图像I
GCH
；
[0008](2)对u
‑
net网络进行改进并应用到水下图像的置信度图的预测中；
[0009](3)利用公开的水下数据集和多个损失函数训练改进后的u
‑
net网路；
[0010](4)将原始图像、校正图像I
DR
和增强图像I
GCH
输入到上述改进u
‑
net网络模型中，输出网络预测的两种置信度图；
[0011](5)将校正图像I
DR
和增强图像I
GCH
分别乘以对应的置信度并融合，输出增强后的图
像。
[0012]进一步地，所述步骤(1)应用颜色校正模块校正步骤包括：
[0013](1.1)基于retinex理论对原图进行图像信息进行分解，并转换到对数域中；
[0014](1.2)引入进行双边滤波估测反射分量
[0015]r
i
＝lb(R
i
(x，y))＝lb(S
i
(x，y))
‑
lb[S
i
(x，y)*W
i
(x，y，x
′
，y
′
)][0016][0017]其中，W
i
为双边滤波器；(x，y)是当前被卷积像素的坐标点；(m，n)是邻域像素的坐标点；σ
r
和σ
d
为平滑参数；
[0018](1.3)根据步骤(1.2)求得红色通道的反射分量r
R
；
[0019](1.4)根据水下图像三个通道的衰减系数求解剩余通道的颜色分量r
G
，r
B
：
[0020][0021]其中，C
B
，C
G
，C
R
分别是图像的B、G和R通道在水下的衰减系数；
[0022](1.5)运用多尺度的retinex算法：
[0023][0024]式中，j为尺度常量的个数，一般为3，为图像的三个颜色通道；w
i
是加权系数；
[0025](1.6)最后，将r
i
转化为实数域R
i
，再进行颜色重组输出反射分量，得出颜色校正后的图像。
[0026]进一步地，所述步骤(1)对比度增强包括：首先将图像的色域范围变换到YC
b
C
r
，并将CLAHE单独应用于Y分量；其次将图像锐化，并利用直方图进行线性化处理；最后将处理所得的图像通过拉普拉斯高斯金字塔融合后输出对比度增强的图像。
[0027]进一步地，所述步骤(2)中改进后的u
‑
net网络，包括并行的多尺度特征提取模块以及注意力机制模块。
[0028]进一步地，所述多尺度特征提取模块包括三个平滑空洞卷积，设置卷积核为3*3，空洞率分别为1、2和4，卷积之后的感受野分别为3、5和9，并行连接三个卷积层、归一化、Relu层。
[0029]进一步地，所述注意力机制模块包括像素注意力机制和通道注意力机制，所述通道注意力机制模块包括Avgpooling层、全连接层、relu层、Sigmoid层以及输出图像F2。
[0030]进一步地，步骤(3)所述的损失函数，包括：
[0031]结构相似性损失函数：
[0032][0033]其中，n表示样本的数量；SSIM为结构相似性，
[0034]感知损失函数：
[0035][0036]其中，和分别是生成图像和真实的图像在i阶段提取到的特征；C，H，W为特征图的维度，
[0037]总的损失函数L
loss
由以上两部分构成：
[0038]L
loss
＝L
ssim
+λL
p
[0039]其中，λ为感知损失的权重系数。
[0040]有益效果：本专利技术与现有技术相比，具有如下显著优点：基于传统与深度学习融合的水下图像增强算法，能够有效地提高水下相机成像的分辨率以及颜色校正的质量；可以更好的还原水下图像的细节信息，使得生成的图像与原始图像更加相似；改进后的u
‑
net网络能够更好地提取不同尺度的特征，性能更好。
附图说明
[0041]图1为本专利技术的流程图；
[0042]图2为颜色校正模块模型图；
[0043]图3为对比度增强模块模型图；
[0044]图4为改进后的u
‑
net网络示意图；
[0045]图5为多尺度特征提取模块示意图；
[0046]图6本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像处理与深度学习的水下图像增强方法，其特征在于，包括如下步骤：(1)将原始图像分别输入颜色校正模块和对比度增强模块，得到校正图像I
DR
和增强图像I
GCH
；(2)对u
‑
net网络进行改进并应用到水下图像的置信度图的预测中；(3)利用公开的水下数据集和多个损失函数训练改进后的u
‑
net网路；(4)将原始图像、校正图像I
DR
和增强图像I
GCH
输入到上述改进u
‑
net网络模型中，输出网络预测的两种置信度图；(5)将校正图像I
DR
和增强图像I
GCH
分别乘以对应的置信度并融合，输出增强后的图像。2.根据权利要求1所述的基于图像处理与深度学习的水下图像增强方法，其特征在于，所述步骤(1)应用颜色校正模块校正的步骤包括：(1.1)基于retinex理论对原图进行图像信息进行分解，并转换到对数域中；(1.2)引入进行双边滤波估测反射分量r
i
＝lb(R
i
(x，y))＝lb(S
i
(x，y))
‑
lb[S
i
(x，y)*W
i
(x，y，x
′
，y
′
)]其中，W
i
为双边滤波器；(x，y)是当前被卷积像素的坐标点；(m，n)是邻域像素的坐标点；σ
r
和σ
d
为平滑参数；(1.3)根据步骤(1.2)求得红色通道的反射分量r
R
；(1.4)根据水下图像三个通道的衰减系数求解剩余通道的颜色分量r
G
，r
B
：其中，C
B
，C
G
，C
R
分别是图像的B、G和R通道在水下的衰减系数；(1.5)运用多尺度的retinex算法：式中，j为尺度常量的个数，一般为3，为图像的三个颜色通道；w
i
是加权系数；(1.6...

【专利技术属性】
技术研发人员：王红茹，王学广，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：