一种基于多分支生成对抗网络的水下图像增强方法技术

本发明专利技术公开一种基于多分支生成对抗网络的水下图像增强方法。本发明专利技术将水下退化原始图像、同一场景下的融合处理后的水下清晰图像、同一场景下的水下清晰生成图像作为训练样本集合，输入到属性分支网络和判别分支网络得到属性图和判别图。通过属性图和判别图各自的代价函数梯度下降更新GAN网络权值。直到本次网络训练结束，得到对退化水下图像增强的模型。本发明专利技术的关键在于使用生成对抗网络数据驱动的特点和较强的模仿能力，模仿对于不同因素导致退化的水下图像的增强策略。可以用一个模型解决多种由不同原因造成的水下图像退化问题，模型更具通用性。利用属性分支和判别分支这种多分支的结构增强学习的综合性和鲁棒性。

An underwater image enhancement method based on multi-branch generation antagonism network

The invention discloses an underwater image enhancement method based on multi-branch generation antagonistic network. The method takes underwater degraded original image, underwater clear image fused under the same scene and underwater clear generated image under the same scene as training sample set, and inputs them into attribute branch network and discriminant branch network to obtain attribute map and discriminant branch network. The weights of GAN network are updated by descending the cost function gradients of attribute graph and discriminant graph. Until the end of the network training, the model of underwater image enhancement is obtained. The key of the present invention is to use the characteristics of generating anti-network data-driven and strong imitation ability to imitate the enhancement strategy of underwater image degraded by different factors. A model can be used to solve many kinds of underwater image degradation problems caused by different reasons, and the model is more universal. The multi-branch structure of attribute branching and discriminant branching is used to enhance the comprehensiveness and robustness of learning.

【技术实现步骤摘要】
一种基于多分支生成对抗网络的水下图像增强方法
本专利技术属于深度学习领域，涉及一种基于多分支生成对抗网络的水下图像增强方法。
技术介绍
复杂的水下成像环境和光照条件导致水下图像往往具有质量退化问题。传统的水下图像增强和复原方法存在问题。基于物理模型的方法，其依赖的假设条件和先验知识存在较大的局限性，对复杂的水下环境适应性不够，设计的水下成像数学模型不准确，模型参数估计算法复杂。非物理模型的方法忽略了水下成像的光学属性，容易引入颜色偏差，增强的图像容易产生过饱和或者欠饱和区域。现有方法往往对某种单一的退化现象有较好的处理效果，但总的综合性、鲁棒性并不太理想，在实际运用中存在较大的局限性。生成对抗网络(GAN)是由生成网络(G)和判别网络(D)对抗训练的一种网络结构。G网络的目的是使合成的图像尽可能接近真实图像，使D网络难以区分，D网络的目的是区分真实图像和合成图像。GAN这种通过数据驱动的训练方式比传统的简单约束方式更适合处理由多种因素共同作用所引起的水下图像退化问题。CycleGAN是GAN的其中一种变种结构，常被用来处理图像转换任务。CycleGAN有两个输入，分布为原始输入数据和非对应的转换后的数据。CycleGAN学习从原始输入数据到转换后的数据的映射关系。
技术实现思路
本专利技术针对现有技术的不足，提供了一种基于多分支生成对抗网络的水下图像增强方法，该方法对复杂的水下环境适应能力更强，潜在的综合性、鲁棒性更好。本专利技术方法具体是：步骤(1)、训练样本的获取1.1获取水下退化原始图像1.2获取与水下退化原始图像同一场景下的融合处理后水下清晰图像对退化的水下原始图像采用多种典型的水下图像增强算法进行处理，再在上述增强处理后的清晰图像中挑选主客观指标选择效果较好的图像进行融合处理，然后经过进一步筛选得到与退化原始图像同一场景下的融合处理后水下清晰图像的训练样本集合。所述的主客观指标选择效果较好的判断标准包括但不限于：图像对比度是否得到增强，图像颜色偏差是否得到修正，图像噪声是否去除等。1.3获取与水下退化原始图像非同一场景下的水下清晰图像，此处为相机拍摄后人工挑选1.4获取与水下退化原始图像同一场景下的水下清晰生成图像：使用CycleGAN对水下退化原始图像集与非同一场景下的水下清晰图像集进行训练。X为水下退化原始图像集合，Y为非同一场景下水下清晰图像集合，通过CycleGAN的训练得到X图像集到Y图像集的映射F。将水下退化原始图像通过映射F得到同一场景下的水下清晰生成图像，具体表示为：进一步筛选得到与水下退化原始图像同一场景下的水下清晰生成图像集合。其中进一步筛选是指代水下退化原始图像退化方式多样，选择水下清晰生成图像增强效果较好的。1.5将水下退化原始图像、步骤1.2得到的同一场景下的融合处理后的水下清晰图像与1.4得到的同一场景下的水下清晰生成图像作为训练样本集合。步骤(2)、将步骤1.5得到的训练样本集合输入到属性分支网络和判别分支网络得到属性图和判别图。属性分支网络和判别分支网络的输入都为步骤1.5所得到的训练样本集合，属性分支网络判断水下清晰生成图像的增强效果，判别分支网络输出对输入数据的类别的判断。步骤(3)、通过属性图和判别图各自的代价函数梯度下降更新GAN网络权值。将GAN的代价函数细分为二个子代价函数：通过属性图计算图像特性代价函数和通过判别图计算的图像对抗代价函数。假设输入生成网络G的原始图像为x，生成网络G产生的图像为y：y＝G(x；z)，其中z是噪声信号。属性图的代价函数的具体表示为：其中，LFeature-D是判别器的代价函数，LFeature-G是生成器的代价函数，Du()是属性分支网络对输入的判别结果，U()是对输入的图像计算其水下图像特性指标，U数值越大，说明其对应的图像越符合水下图像特性。Ey()、Ex,z()、Ez()皆为对输入计算其数学期望。对抗代价函数的具体表示为：其中，LGAN-D是判别网络的代价函数，LGAN-G是生成网络的代价函数，Da是判别分支网络对输入数据的类别判断；a＝1，b＝0分别是真实图像与生成图像的标签。对代价函数LFeature-D、LFeature-G、LGAN-D、LGAN-G分别做梯度下降，更新属性分支网络和判别分支网络的网络各层权值。此处为现有常规技术，故不详解。步骤(4)、重复步骤2、步骤3，迭代设定的固定次数，直到本次网络训练结束，得到对退化水下图像增强的模型。本专利技术的有益效果如下：本专利技术的关键在于使用生成对抗网络数据驱动的特点和较强的模仿能力，模仿对于不同因素导致退化的水下图像的增强策略。可以用一个模型解决多种由不同原因造成的水下图像退化问题，模型更具通用性。利用属性分支和判别分支这种多分支的结构增强学习的综合性和鲁棒性。附图说明图1为本专利技术的流程图一。图2为本专利技术的流程图二。具体实施方式下面结合具体实施例对本专利技术做进一步的分析。本实验将一组采集的退化水下图片作为训练的样本数据集。在多分支的生成对抗网络图像增强的具体步骤如下，见图1、2：步骤(1)、训练样本的获取1.1获取水下退化原始图像1.2获取与水下退化原始图像同一场景下的融合处理后水下清晰图像对退化的水下原始图像采用多种典型的水下图像增强算法进行处理，再在上述增强处理后的清晰图像中挑选主客观指标选择效果较好的图像进行融合处理，然后经过进一步筛选得到与退化原始图像同一场景下的融合处理后水下清晰图像的训练样本集合。所述的主客观指标选择效果较好的判断标准包括但不限于：图像对比度是否得到增强，图像颜色偏差是否得到修正，图像噪声是否去除等。1.3获取与水下退化原始图像非同一场景下的水下清晰图像1.4获取与水下退化原始图像同一场景下的水下清晰生成图像：使用CycleGAN对水下退化原始图像集与非同一场景下的水下清晰图像集进行训练。X为水下退化原始图像集合，Y为非同一场景下水下清晰图像集合，通过CycleGAN的训练得到X图像集到Y图像集的映射F。将水下退化原始图像通过映射F得到同一场景下的水下清晰生成图像，具体表示为：进一步筛选得到与水下退化原始图像同一场景下的水下清晰生成图像集合。其中进一步筛选的标准为水下退化原始图像退化方式多样，水下清晰生成图像增强效果较好的。1.5将水下退化原始图像与步骤1.2得到的同一场景下的融合处理后的水下清晰图像与1.4得到的同一场景下的水下清晰生成图像作为训练样本集合步骤(2)、将步骤1.5得到的训练样本集合输入到属性分支网络和判别分支网络得到属性图和判别图。属性分支网络和判别分支网络的输入都为步骤1.5所得到的训练样本集合，属性分支网络判断水下清晰生成图像的增强效果，判别分支网络输出对输入数据的类别的判断。步骤(3)、通过属性图和判别图各自的代价函数梯度下降更新GAN网络权值。将GAN的代价函数细分为二个子代价函数：通过属性图计算图像特性代价函数和通过判别图计算的图像对抗代价函数。假设输入生成网络G的原始图像为x，生成网络G产生的图像为y。y＝G(x；z)，其中z是噪声信号。属性图的代价函数的具体表示为：其中，LFeature-D是判别器的代价函数，LFeature-G是生成器的代价函数，Du()是属性分支网络对输入的判别结果，U()是对输入的本文档来自技高网...

【技术保护点】
1.一种基于多分支生成对抗网络的水下图像增强方法，其特征在于该方法具体是：步骤(1)、训练样本的获取1.1获取水下退化原始图像；1.2获取与水下退化原始图像同一场景下的融合处理后水下清晰图像：对退化的水下原始图像采用现有水下图像增强算法进行处理，再在上述增强处理后的清晰图像中挑选主客观指标选择效果较好的图像进行融合处理，然后经过进一步筛选得到与退化原始图像同一场景下的融合处理后水下清晰图像的训练样本集合；1.3获取与水下退化原始图像非同一场景下的水下清晰图像；1.4获取与水下退化原始图像同一场景下的水下清晰生成图像：使用CycleGAN对水下退化原始图像集与非同一场景下的水下清晰图像集进行训练；X为水下退化原始图像集合，Y为非同一场景下水下清晰图像集合，通过CycleGAN的训练得到X图像集到Y图像集的映射F；将水下退化原始图像通过映射F得到同一场景下的水下清晰生成图像，具体表示为：

【技术特征摘要】
1.一种基于多分支生成对抗网络的水下图像增强方法，其特征在于该方法具体是：步骤(1)、训练样本的获取1.1获取水下退化原始图像；1.2获取与水下退化原始图像同一场景下的融合处理后水下清晰图像：对退化的水下原始图像采用现有水下图像增强算法进行处理，再在上述增强处理后的清晰图像中挑选主客观指标选择效果较好的图像进行融合处理，然后经过进一步筛选得到与退化原始图像同一场景下的融合处理后水下清晰图像的训练样本集合；1.3获取与水下退化原始图像非同一场景下的水下清晰图像；1.4获取与水下退化原始图像同一场景下的水下清晰生成图像：使用CycleGAN对水下退化原始图像集与非同一场景下的水下清晰图像集进行训练；X为水下退化原始图像集合，Y为非同一场景下水下清晰图像集合，通过CycleGAN的训练得到X图像集到Y图像集的映射F；将水下退化原始图像通过映射F得到同一场景下的水下清晰生成图像，具体表示为：进一步筛选得到与水下退化原始图像同一场景下的水下清晰生成图像集合；1.5将水下退化原始图像、步骤1.2得到的同一场景下的融合处理后的水下清晰图像、步骤1.4得到的同一场景下的水下清晰生成图像作为训练样本集合；步骤(2)、将步骤1.5得到的训练样本集合输入到属性分支网络和判别分支网络得到属性图和判别图：属性分支网络和判别分支网络的输入均...

【专利技术属性】
技术研发人员：陈华杰，姚勤炜，张杰豪，侯新雨，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33