基于结构分解的水下图像增强方法、系统及存储介质技术方案

本申请涉及一种基于结构分解的水下图像增强方法、系统及存储介质，涉及图像增强的技术领域，其包括获取原始的第一水下图像；将原始的第一水下图像分解为第一高频信息HFI和第一低频信息LFI；完成训练的UWCNN

【技术实现步骤摘要】
基于结构分解的水下图像增强方法、系统及存储介质


[0001]本申请涉及图像增强的
，尤其是涉及一种基于结构分解的水下图像增强方法、系统及存储介质。

技术介绍

[0002]近年来，水下环境监测、海洋资源开发和海洋军事等领域蓬勃发展。然而，原始的水下图像由于颜色失真、模糊、对比度不足等问题无法满足视觉任务需要。因此，水下成像技术在国内外得到了广泛的关注和研究，并被应用到各种人类水下活动。例如，水下自主航线器、水下物体抓取、深海勘探和海床测绘等水下活动均非常依赖于高清晰度、高质量的水下图像。
[0003]由于水下环境复杂，拍摄得到的水下图像通常会出现低对比度、颜色失真和雾化效应等视觉失真。从空气中进入水下的光会被水吸收，并且发生散射；而散射的发生一般是由于水中的悬浮粒子造成，光进入水中后会被悬浮粒子反射到不同的方向。水的介质会根据不同颜色光的波长进行吸收，从而降低光的能量。光进入水中以后，由于红光的波长较长，容易被水吸收。通常在水下2米拍摄的水下图像可以明显地观察到红光的衰减；而蓝光和绿光的波长较短，不易被水吸收；因此，在深水位置拍摄到的水下图像通常是呈蓝绿色调。相反，在浅水位置拍摄到的水下图像一般会出现雾化效应，水中的杂质会加深这种现象，一般距离相机10米之外拍摄的物体很难分辨。为了克服这些失真，需要对水下图像进行增强，进而提高其视觉质量。
[0004]水下图像的增强主要有三种方法，分别是：物理模型方法、非物理模型方法和深度学习方法。目前采用较多的为通过深度学习技术来增强恢复水下图像。设计端到端的网络可以有效避免建立复杂的水下图像退化模型。
[0005]申请公布号为CN109118445A公开的一种基于多分支生成对抗网络的水下图像，将水下退化原始图像、同一场景下的融合处理后的水下清晰图像、同一场景下的水下清晰生成图像作为训练样本集合，输入到属性分支网络和判别分支网络得到属性图和判别图。通过属性图和判别图各自的代价函数梯度下降更新GAN网络权值。直到本次网络训练结束，得到对退化水下图像增强的模型。
[0006]上述方案中采用CycleGAN的生成对抗网络，并使用非配对训练集进行训练，实现两种图像风格的转换；但只考虑到了输入图像和生成图像的循环一致性损失，因此这种方法生成的图像清晰度仍然达不到所需的要求，所以具有一定的改进空间。

技术实现思路

[0007]本申请目的一是提供一种基于结构分解的水下图像增强方法，具有得到视觉质量更高、纹理细节更清晰的水下图像的特点。
[0008]本申请提供的一种基于结构分解的水下图像增强方法是通过以下技术方案得以实现的：
一种基于结构分解的水下图像增强方法，包括：获取原始的第一水下图像；将原始的第一水下图像分解为第一高频信息HFI和第一低频信息LFI；完成训练的UWCNN
‑
SD网络模型包括初步增强网络模型，所述初步增强网络模型包括LF 增强网络模型和HF增强网络模型；将第一高频信息HFI输入至完成训练的HF增强网络模型中以得到增强后的第一增强高频信息，将第一低频信息LFI输入至完成训练的LF增强网络模型中以得到增强后的第一增强低频信息；将增强后的第一增强高频信息与增强后的第一增强低频信息通过像素级的相加得到初步增强的第一增强水下图像。
[0009]通过采用上述技术方案，先将原始的第一水下图像分解为第一高频信息和第一低频信息，通过HF增强网络模型对第一高频信息增强以得到更清晰边缘纹理的水下图像，即增强后的第一高频信息，通过LF增强网络模型对第一低频信息增强得到增强后的第一低频信息，将增强后的第一高频信息与增强后的第一低频信息通过像素级的相加得到初步增强的第一增强水下图像，即对原始的第一水下图像增强之后的水下图像，能够得到视觉质量更高、纹理细节更清晰的水下图像。
[0010]本申请在一较佳示例中可以进一步配置为：关于UWCNN
‑
SD网络模型的构建方法为：获取原始的第二水下图像以及与原始的第二水下图像一一对应的第一标准图像；将原始的第二水下图像分解为第二高频信息HFI和第二低频信息LFI；待训练的UWCNN
‑
SD网络模型包括初步增强网络模型，所述初步增强网络模型包括LF增强网络模型和HF增强网络模型；将第二高频信息HFI输入至待训练的HF增强网络模型中以得到增强后的第二增强高频信息，将第二低频信息LFI输入至待训练的LF增强网络模型中以得到增强后的第二增强低频信息；将增强后的第二增强高频信息与增强后的第二增强低频信息通过像素级的相加得到初步增强的第二增强水下图像；计算初步增强的第二增强水下图像与第一标准图像的差；通过极小化误差的方法反向传播调整权值矩阵得到完成训练的UWCNN
‑
SD网络模型。
[0011]本申请在一较佳示例中可以进一步配置为：使用DCT方法将原始的水下图像分解为第一高频信息HFI和第一低频信息LFI。
[0012]本申请在一较佳示例中可以进一步配置为：所述LF增强网络模型包括联合估计网络子模型，将第一低频信息LFI作为联合估计网络子模型的输入以得到K
λ
；定义高频信息为I
hf
(x,y)，低频信息为I
lf
(x,y)，则I(x,y)＝I
hf
(x,y)+I
lf
(x,y)；水下成像模型可以表示为：I
λ
(x,y)＝J
λ
(x,y)T
λ
(x,y)+B
λ
(1
‑
T
λ
(x,y))；其中，I
λ
(x,y)表示原始的水下图像，J
λ
(x,y)表示增强后的水下图像，T
λ
(x,y)表示
透射图，B
λ
表示背景光；变换水下成型模型得出清晰的水下图像，清晰的水下图像可以表示为：则增强后的高频信息LFI可以表示为：其中，
[0013]通过采用上述技术方案，因为T
λ
(x,y)估计的准确性通常取决于深度图，而因为水下图像环境复杂，难以准确估计深度图，而B
λ
的估计通常依赖于先验知识，所以分别估计 T
λ
(x,y)和B
λ
可能会造成误差，联合估计T
λ
(x,y)和B
λ
避免了由透射图和背景光的单独估计引起的参数误差，提高了参数估计的准确性，使得增强后的低频信息更加准确。。
[0014]本申请在一较佳示例中可以进一步配置为：所述完成训练的UWCNN
‑
SD网络模型还包括细化网络模型；将初步增强的第一增强水下图像输入至完成训练的细化网络模型以得到最终的第一水下图像。
[0015]通过采用上述技术方案，将初步增强的第一增强水下图像作为细化网络模型的输入以得到最终的第一水下图像，以对原始的第一水下图像进行增强，得到视觉质量更高、纹理细节更清晰本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构分解的水下图像增强方法，其特征在于，包括：获取原始的第一水下图像；将原始的第一水下图像分解为第一高频信息HFI和第一低频信息LFI；完成训练的UWCNN
‑
SD网络模型包括初步增强网络模型，所述初步增强网络模型包括LF增强网络模型和HF增强网络模型；将第一高频信息HFI输入至完成训练的HF增强网络模型中以得到增强后的第一增强高频信息，将第一低频信息LFI输入至完成训练的LF增强网络模型中以得到增强后的第一增强低频信息；将增强后的第一增强高频信息与增强后的第一增强低频信息通过像素级的相加得到初步增强的第一增强水下图像。2.根据权利要求1所述的基于结构分解的水下图像增强方法，其特征在于，关于UWCNN
‑
SD网络模型的构建方法为：获取原始的第二水下图像以及与原始的第二水下图像一一对应的第一标准图像；将原始的第二水下图像分解为第二高频信息HFI和第二低频信息LFI；待训练的UWCNN
‑
SD网络模型包括初步增强网络模型，所述初步增强网络模型包括LF增强网络模型和HF增强网络模型；将第二高频信息HFI输入至待训练的HF增强网络模型中以得到增强后的第二增强高频信息，将第二低频信息LFI输入至待训练的LF增强网络模型中以得到增强后的第二增强低频信息；将增强后的第二增强高频信息与增强后的第二增强低频信息通过像素级的相加得到初步增强的第二增强水下图像；计算初步增强的第二增强水下图像与第一标准图像的差；通过极小化误差的方法反向传播调整权值矩阵得到完成训练的UWCNN
‑
SD网络模型。3.根据权利要求1所述的基于结构分解的水下图像增强方法，其特征在于，使用DCT方法将原始的水下图像分解为第一高频信息HFI和第一低频信息LFI。4.根据权利要求1所述的基于结构分解的水下图像增强方法，其特征在于，所述LF增强网络模型包括联合估计网络子模型，将第一低频信息LFI作为联合估计网络子模型的输入以得到K
λ
；定义高频信息为I
hf
(x,y)，低频信息为I
lf
(x,y)，则I(x,y)＝I
hf
(x,y)+I
lf
(x,y)；水下成像模型可以表示为：I
λ
(x,y)＝J
λ
(x,y)T
λ
(x,y)+B
λ
(1
‑
T
λ
(x,y))；其中，I
λ
(x,y)表示原始的水下图像，J
λ
(x,y)表示增强后的水下图像，T
λ
(x,y)表示透射图，B
λ
表示背景光；变换水下成型模型得出清晰的水下图像，清晰的水下图像可以表示为：则增强后的高频信息LFI可以表示为：
其中，5.根据权利要求1所述的基于结构分解的水下图像增强方法，其特征在于，所述完成训练的UWCNN
‑
SD网络模...

【专利技术属性】
技术研发人员：骆挺，吴圣聪，徐海勇，宋洋，
申请(专利权)人：宁波大学科学技术学院，
类型：发明
国别省市：