基于Retinex理论和端到端深度网络的水下图像复原方法技术

本发明专利技术公开了一种基于Retinex理论和端到端深度网络的水下图像复原方法，包括：1)简化Jaffe‑McGlamery水下成像模型，以符合Retinex理论基本假设；2)依据简化的Jaffe‑McGlamery水下成像模型以及环境光图空间平滑的先验条件估计环境光图，分解粗略场景反射率图；3)设计端到端深度网络实现水下图像的精细化复原；4)将粗略场景反射率图输入到端到端深度网络中进行训练，得到最优的端到端深度网络，最后，将待测的粗略场景反射率图输入到最优的端到端深度网络，网络的输出即为复原的水下图像。本发明专利技术消除光在水下传播时衰减和散射对成像过程的影响，以改善图像的视觉效果，有效恢复水下图像视觉质量。

【技术实现步骤摘要】
基于Retinex理论和端到端深度网络的水下图像复原方法
本专利技术涉及图像处理的
，尤其是指一种基于Retinex理论和端到端深度网络的水下图像复原方法。
技术介绍
在水下传播时，光的衰减，前后向散射特性导致水下图像呈蓝色调，雾状，模糊等降质现象。不同的水下环境使得水下图像呈现这些降质现象的不同组合。统计发现，95％的水下图像呈现色彩畸变现象，10％的水下图像呈现雾状(往往出现在悬浮颗粒严重，远景区域)，5％的呈现模糊.颜色畸变对水下图像质量的影响最为严重，色彩复原是水下图像复原中最为重要的内容。水下图像复原方法主要采用改进的大气成像模型，该模型对RGB各颜色通道分别建模。由于前向散射导致的模糊现象并不显著，因此该类算法忽略了前向散射导致的模糊现象，着重对后向散射和衰减建模。大部分的方法通过经验估计RGB各通道的衰减系数，这使得基于物理模型的复原算法(暗通道先验系列)颜色复原效果很一般，甚至引入更为严重的人为噪声(redartifact)。另一方面，水下图像增强算法面对水下图像色彩复原问题提出了不同的解决方案，一些论文采用简单的色彩增强方法，如红通道补偿，即将绿，蓝通道的值乘以一定的权重值加给红通道，另一些则采用灰度世界假设等颜色一致性算法。这些方案确实对颜色有一定的改善，但复原的颜色与真实的颜色依旧存在不小的差距。尽管近年来水下图像复原收到广泛关注，但水下图像复原依旧是一个具有挑战性的不适定问题。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于Retinex理论和端到端深度网络的水下图像复原方法，可有效恢复水下图像视觉质量。为实现上述目的，本专利技术所提供的技术方案为：基于Retinex理论和端到端深度网络的水下图像复原方法，该方法是从水下图像中估计出环境光图，从而分解出场景反射率图，消除光在水下传播时衰减和散射对成像过程的影响，以改善图像的视觉效果；包括以下步骤：1)简化Jaffe-McGlamery水下成像模型，仅保留该模型中的直接分量，忽略前向散射分量和后向散射分量，使简化的Jaffe-McGlamery水下成像模型符合Retinex理论基本假设，即水下图像是环境光图和场景反射率图的乘积；2)依据简化的Jaffe-McGlamery水下成像模型以及环境光图空间平滑的先验条件估计环境光图，分解粗略场景反射率图：首先，采用多组不同参数的高斯卷积核对水下图像做滤波操作得到多个环境光图的估计，接着对水下图像和估计的环境光图分别作对数变换，然后将对数变换后的水下图像分别减去各个估计环境光得到差值，接着对差值加权平均得到均值，最后对均值进行归一化得到粗略场景反射率图；3)设计端到端深度网络实现水下图像的精细化复原，有如下特点：a、多尺度，网络首先对粗略场景反射率图做两次下采样操作，然后使用1*1和3*3卷积核在不同尺度上提取特征，接着对提取到的不同尺度特征进行融合，得到最终的网络输出，使得底层图像的信息和高层语义信息均得以利用；b、轻量化，使网络参数更少，训练收敛更快；c、目标函数增加梯度约束，网络采用一范数和梯度一致性约束，使得复原结果更加清晰；4)使用训练数据集对步骤3)设计的端到端深度网络中进行训练，得到最优的端到端深度网络，最后，将待测的粗略场景反射率图输入到最优的端到端深度网络，网络的输出即为复原的水下图像。在步骤1)中，所简化的Jaffe-McGlamery水下成像模型的具体情况如下：a、简化的Jaffe-McGlamery水下成像模型，仅保留该模型中直接分量为：I(x,λ)＝L(x,λ)·R(x,λ)·T(x,λ)其中，λ∈{R,G,B}表示图像通道，R，G，B分别指图像的红，绿和蓝色通道；x表示图像像素点坐标以及该像素点对应的场景位置；I(x,λ)为相机拍摄的水下图像；R(x,λ)为场景反射率图；L(x,λ)为场景表面照明环境光；T(x,λ)为场景透射率；自然光N(x,λ)在水下传播时会呈现指数衰减，设β(λ)为λ通道的衰减系数，H(x)为场景点x距水面的高度，D(x)为场景点x与相机的距离，则：L(x,λ)＝N(x,λ)·e-β(λ)T(x,λ)＝e-β(λ)D(x)b、简化的Jaffe-McGlamery水下成像模型符合Retinex理论基本假设，即水下图像是环境光图和场景反射率图的乘积，即：I(x,λ)＝N(x,λ)·e-β(λ)H(x)·R(x,λ)·e-β(λ)D(x)＝L1(x,λ)·R(x,λ)其中，L1(x,λ)＝N(x,λ)·e-β(λ)(H(x)+D(x))为环境光图，R为场景反射率图。在步骤2)中，设水下图像为I(x,y)∈[0,1]3，其中(x，y)表示图像像素点坐标；多组不同参数的高斯卷积核Fn(x,y)具体为：其中，n为表示高斯卷积核的不同尺度，γn和σn分别为高斯核的两个参数；对水下图像和估计的环境光图分别作对数变换，然后将对数变换后的水下图像分别减去各个估计环境光得到差值，最后对差值加权平均得到对数域下的粗略场景反射率图r(x,y)：其中，N表示高斯卷积核的参数个数，wn为权重系数；对r(x,y)进行归一化得到最终的粗略场景反射率图R(x,y)：在步骤3)中，对粗略场景反射率图做两次下采样操作：进行2次2*2的平均池化操作，得到包括原图共3张尺度依次减半、通道数相同的图像，分别用I1、I2、I3表示；使用1*1和3*3卷积核在不同尺度上提取特征：对3张不同尺度的图I1、I2，I3，分别使用1*1和3*3卷积核对其进行操作，得到尺度保持不变，通道数分别为64、64、128的特征图，分别用F1、F2、F3表示；对提取到的不同尺度特征进行融合：a、对特征图F3进行两次3*3卷积，然后上采样得到融合特征图，用U2表示；b、将F2和U2堆叠，然后做两次3*3卷积操作，然后上采样得到融合特征图，用U1表示；c、将F1和U1堆叠，接着做两次3*3卷积操作，然后用1*1卷积得到通道为3的复原图If；目标函数为：其中，H和W为图像的长度和高度，(x，y)表示图像像素点的坐标值，Ir(x,y)为清晰参考图，If(x,y)为端到端深度网路的输出图，λ为权重系数，grad{}为Sobel算子，L1(Ir,If)为一范数损失函数，Lgl(Ir,If)为梯度一致性损失函数，为最终的目标函数。在步骤4)中，使用训练数据集来源于EUVP共6128组配对的图像，每一组配对图像均为一张水下图和对应的清晰参考图，图像尺寸为512*512*3，即长宽为512个像素点，通道数为3的彩色图，并且像素值归一化为[-1，1]的范围；训练前首先估计环境光图，分解粗略场景反射率图，然后将粗略场景反射率图和对应清晰参考图作为网络输入进行训练；训练共200个epochs，优化器采用Adam算法，学习率为0.0001.batch的大小为8。。本专利技术与现有技术相本文档来自技高网...

【技术保护点】
1.基于Retinex理论和端到端深度网络的水下图像复原方法，其特征在于，该方法是从水下图像中估计出环境光图，从而分解出场景反射率图，消除光在水下传播时衰减和散射对成像过程的影响，以改善图像的视觉效果；包括以下步骤：/n1)简化Jaffe-McGlamery水下成像模型，仅保留该模型中的直接分量，忽略前向散射分量和后向散射分量，使简化的Jaffe-McGlamery水下成像模型符合Retinex理论基本假设，即水下图像是环境光图和场景反射率图的乘积；/n2)依据简化的Jaffe-McGlamery水下成像模型以及环境光图空间平滑的先验条件估计环境光图，分解粗略场景反射率图：首先，采用多组不同参数的高斯卷积核对水下图像做滤波操作得到多个环境光图的估计，接着对水下图像和估计的环境光图分别作对数变换，然后将对数变换后的水下图像分别减去各个估计环境光得到差值，接着对差值加权平均得到均值，最后对均值进行归一化得到粗略场景反射率图；/n3)设计端到端深度网络实现水下图像的精细化复原，有如下特点：a、多尺度，网络首先对粗略场景反射率图做两次下采样操作，然后使用1*1和3*3卷积核在不同尺度上提取特征，接着对提取到的不同尺度特征进行融合，得到最终的网络输出，使得底层图像的信息和高层语义信息均得以利用；b、轻量化，使网络参数更少，训练收敛更快；c、目标函数增加梯度约束，网络采用一范数和梯度一致性约束，使得复原结果更加清晰；/n4)使用训练数据集对步骤3)设计的端到端深度网络中进行训练，得到最优的端到端深度网络，最后，将待测的粗略场景反射率图输入到最优的端到端深度网络，网络的输出即为复原的水下图像。/n...

【技术特征摘要】
1.基于Retinex理论和端到端深度网络的水下图像复原方法，其特征在于，该方法是从水下图像中估计出环境光图，从而分解出场景反射率图，消除光在水下传播时衰减和散射对成像过程的影响，以改善图像的视觉效果；包括以下步骤：
1)简化Jaffe-McGlamery水下成像模型，仅保留该模型中的直接分量，忽略前向散射分量和后向散射分量，使简化的Jaffe-McGlamery水下成像模型符合Retinex理论基本假设，即水下图像是环境光图和场景反射率图的乘积；
2)依据简化的Jaffe-McGlamery水下成像模型以及环境光图空间平滑的先验条件估计环境光图，分解粗略场景反射率图：首先，采用多组不同参数的高斯卷积核对水下图像做滤波操作得到多个环境光图的估计，接着对水下图像和估计的环境光图分别作对数变换，然后将对数变换后的水下图像分别减去各个估计环境光得到差值，接着对差值加权平均得到均值，最后对均值进行归一化得到粗略场景反射率图；
3)设计端到端深度网络实现水下图像的精细化复原，有如下特点：a、多尺度，网络首先对粗略场景反射率图做两次下采样操作，然后使用1*1和3*3卷积核在不同尺度上提取特征，接着对提取到的不同尺度特征进行融合，得到最终的网络输出，使得底层图像的信息和高层语义信息均得以利用；b、轻量化，使网络参数更少，训练收敛更快；c、目标函数增加梯度约束，网络采用一范数和梯度一致性约束，使得复原结果更加清晰；
4)使用训练数据集对步骤3)设计的端到端深度网络中进行训练，得到最优的端到端深度网络，最后，将待测的粗略场景反射率图输入到最优的端到端深度网络，网络的输出即为复原的水下图像。


2.根据权利要求1所述的基于Retinex理论和端到端深度网络的水下图像复原方法，其特征在于，在步骤1)中，所简化的Jaffe-McGlamery水下成像模型的具体情况如下：
a、简化的Jaffe-McGlamery水下成像模型，仅保留该模型中直接分量为：
I(x,λ)＝L(x,λ)·R(x,λ)·T(x,λ)
其中，λ∈{R,G,B}表示图像通道，R，G，B分别指图像的红，绿和蓝色通道；x表示图像像素点坐标以及该像素点对应的场景位置；I(x,λ)为相机拍摄的水下图像；R(x,λ)为场景反射率图；L(x,λ)为场景表面照明环境光；T(x,λ)为场景透射率；自然光N(x,λ)在水下传播时会呈现指数衰减，设β(λ)为λ通道的衰减系数，H(x)为场景点x距水面的高度，D(x)为场景点x与相机的距离，则：
L(x,λ)＝N(x,λ)·e-β(λ)
T(x,λ)＝e-β(λ)D(x)
b、简化的Jaffe-McGlamery水下成像模型符合Retinex理论基本假设，即水下图像是环境光图和场景反射率图的乘积，即：
I(x,λ)＝N(x,λ)·e-β(λ)H(x)·R(x,λ)·e-β(λ)D(x)＝L1(x,λ)·R(x,λ...

【专利技术属性】
技术研发人员：林枫，高红霞，莫宜锦，杨伟朋，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44