基于CNN的水下图像增强与复原组合优化方法技术

本发明专利技术涉及一种基于CNN的水下图像增强与复原组合优化方法，包括：制作数据集；用数据集训练基于CNN的去雾网络，得到训练好的去雾网络，作为水下去雾模块中的雾天去雾模块；将待处理的水下图像输入颜色恢复模块中，水下图像通过基于CIELab色彩模型的双通道分离颜色校正算法进行处理，得到颜色校正后的第一图像；将第一图像输入到水下去雾模块中的雾天去雾模块，通过去雾网络进行处理，得到去雾后的第二图像；将第二图像输入到水下去雾模块中的亮度均衡模块，通过CLAHE算法对第二图像的亮度通道进行处理，得到具有更均衡的亮度和更好的对比度的第三图像，即为水下图像增强与复原后的图像。该方法有利于校正水下图像存在的色偏，提高水下图像的对比度。提高水下图像的对比度。提高水下图像的对比度。

【技术实现步骤摘要】
基于CNN的水下图像增强与复原组合优化方法


[0001]本专利技术涉及水下图像增强与复原
，具体涉及一种基于CNN的水下图像增强与复原组合优化方法。

技术介绍

[0002]在利用水下机器人进行海洋探索与开发的过程中，水下图像作为一种存储信息的载体，是我们获取海洋信息的一个重要的途径。当前水下机器人水下成像所利用的方式主要分为两类，一类是声呐成像，另一类是微光成像。微光成像是通过摄像机借助辅助光源利用光反射进行成像。相较于声呐成像，微光成像能够以远快于声呐成像的速度获得成像结果，并且所得图像可以拥有更高的分辨率，蕴含更加丰富的信息。然而，微光成像对于成像距离和成像环境有更高的要求。近年来，图像增强及复原技术的发展(如深度学习)一定程度上降低了微光成像对于水下环境的依赖，这使得采用微光成像方式的水下机器人在军事和海洋工程领域得到了更广泛的应用。
[0003]因此，获取清晰的水下图像对于海洋的探索与研究具有重要意义，然而通过水下成像设备捕获的原始水下光学图像质量较差。当光在水下传播时，成像设备接收到的光线主要由直向光、前向散射光和后向散射光三种光线组成。由于水中粒子的存在使得光在水下传播时发生散射，从而导致水下捕获的图像呈现出模糊和对比度低等特点。前向散射使得目标物反射光线偏转从而影响图像的质量，而后向散射是由于折射光线在水中遇到微粒产生反射后进入成像设备中，因此所获取的图像信息为非目标物信息。前向散射光与后向散射光都会降低图像的对比度并抑制图像的细节。此外，光在水中的快速衰减导致了水下获取到的图像存在严重的色偏，由于红色光在水中的衰减速度最快，所以深度越深水下图像呈现蓝绿色调愈加明显，最终使得图像所表达出的信息大大减少甚至表达出错误的信息。为了获取完整、正确的水下目标信息，使获得的水下原始图像方便后续的进一步研究如目标识别等，需要对退化的水下图像进行增强和复原处理。

技术实现思路

[0004]本专利技术的目的在于提供一种基于CNN的水下图像增强与复原组合优化方法，该方法有利于校正水下图像存在的色偏，提高水下图像的对比度。
[0005]为了实现上述目的，本专利技术采用的技术方案是：一种基于CNN的水下图像增强与复原组合优化方法，通过分模块进行颜色校正和去模糊，提高水下图像的整体恢复质量，包括以下步骤：
[0006]步骤1、在户外训练集深度数据库的基础上，提取并制作成用于训练基于CNN的去雾网络的数据集；
[0007]步骤2、用得到的数据集训练构建的基于CNN的去雾网络，得到训练好的去雾网络，作为水下去雾模块中的雾天去雾模块；
[0008]步骤3、将一副待处理的水下图像输入颜色恢复模块中，水下图像通过基于CIELab
色彩模型的双通道分离颜色校正算法进行处理，得到颜色校正后的第一图像；
[0009]步骤4、将步骤3得到的第一图像输入到水下去雾模块中的雾天去雾模块，通过基于CNN的去雾网络进行处理，得到去雾后的第二图像；
[0010]步骤5、将步骤4得到的第二图像输入到水下去雾模块中的亮度均衡模块，通过CLAHE算法对去雾后的第二图像的亮度通道进行处理，得到具有更均衡的亮度和更好的对比度的第三图像，所述第三图像即为水下图像增强与复原后的图像。
[0011]进一步地，基于去雾网络的雾天去雾模块与运用CLAHE算法的亮度均衡模块共同构成水下去雾模块，通过联合基于CIELab色彩模型的双通道分离颜色校正算法的颜色恢复模块和水下去雾模块来实现所述水下图像增强与复原组合优化方法。
[0012]进一步地，所述步骤1中，在户外训练集深度数据库的基础上通过设置不同的大气光强Ac(x)和透射率tc(x)，筛选去除户外训练集中背景亮度过高的图像，得到数据集；所述数据集包括36400幅图像用于去雾网络的训练，其中32760幅图像作为训练集，其余3640幅图像作为验证集；将数据集中的图像尺寸统一为320
×
320的RGB图像，得到最终的用于训练去雾网络的数据集。
[0013]进一步地，所述步骤2中，构建的基于CNN的去雾网络主要由主网络和副网络组成，副网络用于分担训练量，以缩短主网络的深度；用数据集训练去雾网络的具体方法为：
[0014]步骤2
‑
1、将数据集中的图像输入去雾网络，图像被同时输入到主网络与副网络中；
[0015]步骤2
‑
2、对于输入副网络的图像，所述副网络首先通过三种不同大小的深度可分离卷积与BMU模块相结合，以获得更大的接受域，更好地学习输入图像的全局信息；然后，所述副网络进行3
×
3深度可分离卷积，并使用Sigmoid激活函数压缩副网络的结果；最后把得到的三通道特征图输出到主网络，继续参与主网络的训练；
[0016]步骤2
‑
3、输入主网络的图像首先通过一个卷积核大小为7
×
7的深度可分离卷积和基础注意模块BAB获得特征图一，将特征图一与副网络得到的三通道特征图拼接在一起，再通过一个卷积核大小为5
×
5的深度可分离卷积和基础注意模块BAB得到特征图二，然后将得到的特征图二与先前的特征图一拼接在一起，再通过一个卷积核大小为5
×
5的深度可分离卷积和基础注意模块BAB得到特征图三，然后将得到的特征图三与先前的特征图二拼接在一起，再依次通过通道关注模块CA、像素关注模块PA和一个卷积核大小为3
×
3的深度可分离卷积，得到特征图四，然后将得到的特征图四与原始图像特征拼接在一起，然后将其传入金字塔池化模块PPB，得到最终结果；
[0017]步骤2
‑
4、计算得到的最终结果与原始无雾图像的差值平方的期望值来获得网络训练使用的损失函数为均方误差；通过观察MSE值的变化来判断网络训练的程度，MSE值越大表明网络所能达到的处理效果相对越差；通过最小化最终结果与对应的无雾真实图像之间的损耗，学习有雾图像与对应清晰图像之间的映射关系；为了避免训练后的网络泛化能力变差和过拟合情况发生，在每个Epoch结束后加入验证过程；如果在验证过程中MSE上升，即使网络继续训练能够使得训练过程的MSE值下降网络也终止训练，并保存训练好的网络参数，得到训练好的去雾网络。
[0018]进一步地，所述金字塔池化模块PPB通过对传入的特征层进行尺度为4
×
4、8
×
8、16
×
16和32
×
32的全局平均池化，构建一个四尺度的池化金字塔；每个尺度池化后，特征图
都经过一个1
×
1的卷积操作，进行跨层间通道的信息整合，然后再经过一个上采样恢复特征图到原先输入时的尺寸大小；最后将金字塔池化前后的特征图拼接起来，再添加一个3
×
3的卷积来对齐特征图。
[0019]进一步地，所述步骤3具体包括以下步骤：
[0020]步骤3
‑
1、将输入的图像从RGB图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于CNN的水下图像增强与复原组合优化方法，其特征在于，通过分模块进行颜色校正和去模糊，提高水下图像的整体恢复质量，包括以下步骤：步骤1、在户外训练集深度数据库的基础上，提取并制作成用于训练基于CNN的去雾网络的数据集；步骤2、用得到的数据集训练构建的基于CNN的去雾网络，得到训练好的去雾网络，作为水下去雾模块中的雾天去雾模块；步骤3、将一副待处理的水下图像输入颜色恢复模块中，水下图像通过基于CIELab色彩模型的双通道分离颜色校正算法进行处理，得到颜色校正后的第一图像；步骤4、将步骤3得到的第一图像输入到水下去雾模块中的雾天去雾模块，通过基于CNN的去雾网络进行处理，得到去雾后的第二图像；步骤5、将步骤4得到的第二图像输入到水下去雾模块中的亮度均衡模块，通过CLAHE算法对去雾后的第二图像的亮度通道进行处理，得到具有更均衡的亮度和更好的对比度的第三图像，所述第三图像即为水下图像增强与复原后的图像。2.根据权利要求1所述的基于CNN的水下图像增强与复原组合优化方法，其特征在于，基于去雾网络的雾天去雾模块与运用CLAHE算法的亮度均衡模块共同构成水下去雾模块，通过联合基于CIELab色彩模型的双通道分离颜色校正算法的颜色恢复模块和水下去雾模块来实现所述水下图像增强与复原组合优化方法。3.根据权利要求1所述的基于CNN的水下图像增强与复原组合优化方法，其特征在于，所述步骤1中，在户外训练集深度数据库的基础上通过设置不同的大气光强Ac(x)和透射率tc(x)，筛选去除户外训练集中背景亮度过高的图像，得到数据集；所述数据集包括36400幅图像用于去雾网络的训练，其中32760幅图像作为训练集，其余3640幅图像作为验证集；将数据集中的图像尺寸统一为320
×
320的RGB图像，得到最终的用于训练去雾网络的数据集。4.根据权利要求1所述的基于CNN的水下图像增强与复原组合优化方法，其特征在于，所述步骤2中，构建的基于CNN的去雾网络主要由主网络和副网络组成，副网络用于分担训练量，以缩短主网络的深度；用数据集训练去雾网络的具体方法为：步骤2
‑
1、将数据集中的图像输入去雾网络，图像被同时输入到主网络与副网络中；步骤2
‑
2、对于输入副网络的图像，所述副网络首先通过三种不同大小的深度可分离卷积与BMU模块相结合，以获得更大的接受域，更好地学习输入图像的全局信息；然后，所述副网络进行3
×
3深度可分离卷积，并使用Sigmoid激活函数压缩副网络的结果；最后把得到的三通道特征图输出到主网络，继续参与主网络的训练；步骤2
‑
3、输入主网络的图像首先通过一个卷积核大小为7
×
7的深度可分离卷积和基础注意模块BAB获得特征图一，将特征图一与副网络得到的三通道特征图拼接在一起，再通过一个卷积核大小为5
×
5的深度可分离卷积和基础注意模块BAB得到特征图二，然后将得到的特征图二与先前的特征图一拼接在一起，再通过一个卷积核大小为5
×
5的深度可分离卷积和基础注意模块BAB得到特征图三，然后将得到的特征图三与先前的特征图二拼接在一起，再依次通过通道关注模块CA、像素关注模块PA和一个卷积核大小为3
×
3的深度可分离卷积，得到特征图四，然后将得到的特征图四与原始图像...

【专利技术属性】
技术研发人员：罗伟林，周欢，王鑫城，郑美城，程中博，陈磊磊，陈震煊，
申请(专利权)人：福州大学，
类型：发明
国别省市：