【技术实现步骤摘要】
本专利技术涉及海洋工程和计算机视觉领域，特别是涉及一种水下图像增强方法。
技术介绍
1、水下图像是水下信息的重要载体。然而水下成像过程中，水体的结构对光的传播有很大影响，相对于空气中所拍摄的普通图像，水下成像所遇到的问题更加复杂和困难。水下图像呈现出的问题包括：低对比度、非均匀照明、模糊、光斑以及各种复杂因素的噪声。
2、针对水下光学图像的退化问题，较多的研究者尝试使用图像增强和复原的方法，从而矫正图像的色偏、恢复图像的视觉效果。水下图像增强方法可分为基于传统模型的图像增强方法和基于深度学习的图像增强方法。基于传统模型的图像增强根据水下图像的特点，在像素层级对图像的对比度、颜色和清晰度进行修正，又可以进一步细分为基于物理模型的方式、基于空间域的方法、基于色彩恒常性的方法和基于融合的方法四种。基于深度学习的图像增强方法将图像的增强和恢复看作编码和解码的过程，并使用解码器的输出和真值图像计算损失，从而优化整个网络。生成对抗网络和卷积神经网络残差模型被广泛用于图像增强。与传统的增强算法相比，训练后的神经网络不需要设置参数。近年来，基于gan的一些方法已被应用于水下视觉增强。在图像处理领域，原始的gan会受一些条件限制。例如，结果出现低分辨率、低质量的情况，虽然通过网络生成的图像表面上看起来很不错，但倘若放大开来看，就会发现图像中细节不清晰。
3、需要说明的是，在上述
技术介绍
部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现
1、本专利技术的主要目的在于提供一种水下图像增强方法，以解决水下图像出现色偏、细节损失、目标模糊和低对比度等退化现象的问题。
2、为实现上述目的，本专利技术采用以下技术方案：
3、一种水下图像增强方法，包括以下步骤：
4、s1、获取包含参考图像的高清水下图像数据集，建立训练集和测试集；
5、s2、建立自适应直方图均衡模型，用于图像预处理以提升图像的亮度和对比度；
6、s3、建立基于改进cgan网络的图像增强模型；
7、s4、利用所述训练集训练所述改进cgan网络直至收敛；
8、s5、将待分析的高清水下图像输入至收敛后的改进cgan网络，输出增强后的高质量且清晰的水下图像。
9、进一步地：
10、步骤s1包括：获取一系列包含各类场景的高清水下图像数据集，以供网络学习多场景多层次的水下特征。
11、步骤s2包括：采用对比度受限的自适应直方图拉伸方法；其中，先将输入图像分割成连续且不重叠的切片，计算各区域的直方图，并用一个预先确定的阈值对直方图进行裁剪，将被剪切的像素均匀分布在直方图下方，若该直方图超过了预设的阈值，则裁剪像素并平均分配到当前颜色空间之外的其他的颜色空间中，最后重建直方图。
12、步骤s2中，所述自适应直方图均衡模型执行局部直方图均衡，其中，首先计算图像的概率密度函数和累积分布函数，然后使用水平映射方程将输入灰度映射到输出灰度，接下来使用线性插值对像素值进行重建；对于角落的像素，新的灰度值等于角落区域的灰度映射，对于边缘像素，新的灰度值为周围区域两个样本s的灰度映射的插值，对于图像中心的像素，新的灰度值是对周围区域的四个样本s的灰度映射的插值；
13、均衡后的像素值计算方法为：
14、；
15、p为应用均衡化方法后的像素值； k为图像像素值；为图像像素值的最大值；为图像像素值的最小值；为累积概率分布函数。
16、步骤s3中，所述基于改进cgan网络的图像增强模型为基于全卷积cgan的实时水下图像增强模型，其中，制定了一个多模态目标函数，通过基于图像的全局内容、颜色、局部纹理和风格信息评估图像的感知质量来训练模型。
17、所述改进cgan网络包括采用全卷积结构的生成器和鉴别器，所述生成器采用编码-解码结构，每个编码器的输出连接到各自的镜像解码器，判别器采用马尔科夫判别器架构，该架构假设超出补丁大小的像素是独立的，即仅基于补丁级信息进行鉴别。
18、所述改进cgan网络采用的损失函数如下式所示：
19、；
20、其中，是条件对抗损失函数，是l1损失，是内容感知损失；，是比例因子，根据经验调整作为超参数。
21、在目标函数中引入了内容感知损失，感知损失的计算如式所示：
22、；
23、是内容感知损失， g表示基于gan的标准条件模型学习映射，，其中x表示源域，y表示期望域，z表示随机噪声，为图像内容函数，表示关于下标中指定分布的期望值。
24、所述基于改进cgan网络的图像增强模型采用一个基于条件gan的模型，其中生成器试图通过迭代最小-最大博弈与对抗鉴别器进化来学习映射。
25、一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器执行时，实现所述的水下图像增强方法。
26、本专利技术的直方图均衡算法与改进的cgan网络相结合得到增强后的高质量且清晰的水下图像，能够有效地避免水下图像出现色偏、细节损失、目标模糊和低对比度等退化现象。
27、与现有技术相比，本专利技术所提供的技术方案至少具备以下优点：
28、1）自动化程度高：得益于生成器网络的编码-解码结构，网络训练过程中的各种细节不依赖于人工调试，大大节省了算法调优所需的人力和时间成本；
29、2）可扩展性强：所述改进cgan网络的生成器和鉴别器包含多个层级结构。在未来的研究中，易以该网络为基础，通过增加或调整网络模块来继续提升检测性能，或解决更复杂、更特化的检测任务。
30、3）更符合人的主观感受：在损失函数中引入内容感知损失，与传统的均方误差损失函数（mse）相比，感知损失更注重图像的感知质量，更符合人眼对图像质量的感受，更适用于水下环境。
31、本专利技术实施例中的其他有益效果将在下文中进一步述及。
本文档来自技高网...【技术保护点】
1.一种水下图像增强方法，其特征在于，包括以下步骤：
2.如权利要求1所述的水下图像增强方法，其特征在于，步骤S1包括：获取一系列包含各类场景的高清水下图像数据集，以供网络学习多场景多层次的水下特征。
3.如权利要求1所述的水下图像增强方法，其特征在于，步骤S2包括：采用对比度受限的自适应直方图拉伸方法；其中，先将输入图像分割成连续且不重叠的切片，计算各区域的直方图，并用一个预先确定的阈值对直方图进行裁剪，将被剪切的像素均匀分布在直方图下方，若该直方图超过了预设的阈值，则裁剪像素并平均分配到当前颜色空间之外的其他的颜色空间中，最后重建直方图。
4.如权利要求3所述的水下图像增强方法，其特征在于，步骤S2中，所述自适应直方图均衡模型执行局部直方图均衡，其中，首先计算图像的概率密度函数和累积分布函数，然后使用水平映射方程将输入灰度映射到输出灰度，接下来使用线性插值对像素值进行重建；对于角落的像素，新的灰度值等于角落区域的灰度映射，对于边缘像素，新的灰度值为周围区域两个样本s的灰度映射的插值，对于图像中心的像素，新的灰度值是对周围区域的四个样本s的灰
5.如权利要求1至4任一项所述的水下图像增强方法，其特征在于，步骤S3中，所述基于改进cGAN网络的图像增强模型为基于全卷积cGAN的实时水下图像增强模型，其中，制定了一个多模态目标函数，通过基于图像的全局内容、颜色、局部纹理和风格信息评估图像的感知质量来训练模型。
6.如权利要求5所述的水下图像增强方法，其特征在于，所述改进cGAN网络包括采用全卷积结构的生成器和鉴别器，所述生成器采用编码-解码结构，每个编码器的输出连接到各自的镜像解码器，判别器采用马尔科夫判别器架构，该架构假设超出补丁大小的像素是独立的，即仅基于补丁级信息进行鉴别。
7.如权利要求1至6任一项所述的水下图像增强方法，其特征在于，所述改进cGAN网络采用的损失函数如下式所示：
8.如权利要求7所述的水下图像增强方法，其特征在于，在目标函数中引入了内容感知损失，内容感知损失的计算如式所示：
9.如权利要求1至8任一项所述的水下图像增强方法，其特征在于，所述基于改进cGAN网络的图像增强模型采用一个基于条件GAN的模型，其中生成器试图通过迭代最小-最大博弈与对抗鉴别器进化来学习映射。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序由处理器执行时，实现如权利要求1至9任一项所述的水下图像增强方法。
...【技术特征摘要】
1.一种水下图像增强方法，其特征在于，包括以下步骤：
2.如权利要求1所述的水下图像增强方法，其特征在于，步骤s1包括：获取一系列包含各类场景的高清水下图像数据集，以供网络学习多场景多层次的水下特征。
3.如权利要求1所述的水下图像增强方法，其特征在于，步骤s2包括：采用对比度受限的自适应直方图拉伸方法；其中，先将输入图像分割成连续且不重叠的切片，计算各区域的直方图，并用一个预先确定的阈值对直方图进行裁剪，将被剪切的像素均匀分布在直方图下方，若该直方图超过了预设的阈值，则裁剪像素并平均分配到当前颜色空间之外的其他的颜色空间中，最后重建直方图。
4.如权利要求3所述的水下图像增强方法，其特征在于，步骤s2中，所述自适应直方图均衡模型执行局部直方图均衡，其中，首先计算图像的概率密度函数和累积分布函数，然后使用水平映射方程将输入灰度映射到输出灰度，接下来使用线性插值对像素值进行重建；对于角落的像素，新的灰度值等于角落区域的灰度映射，对于边缘像素，新的灰度值为周围区域两个样本s的灰度映射的插值，对于图像中心的像素，新的灰度值是对周围区域的四个样本s的灰度映射的插值；
5.如权利要求1至4任一项所述的水下图像增强方法，其特征在于，步骤s3中...
【专利技术属性】
技术研发人员：曲钧天，刘厚德，由佳，曹翔宇，于振苹，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。