一种基于Retinex的深度网络单幅图像去雾方法技术

本发明专利技术公开了一种基于Retinex的深度网络单幅图像去雾方法。提出一种基于Retinex的去雾分解模型,并通过端到端的深度网络完成了模型的求解,获得了清晰的无雾图像。采用基于Retinex的去雾分解模型能更准确的描述有雾图像的构成形式，也便于引导深度网络对图像的残余光照图和自然光照下的无雾图像的分离与提取。利用深度网络强大的非线性拟合能力来求解模型，能够提高去雾算法的泛化能力，获得更加精确的参数估计结果。本文采用的基于Retinex的深度网络能更好地分解有雾图像，获得自然光照下的无雾图像。在合成图像和真实图像上的实验结果表明，该方法与经典图像去雾算法相比，具有较好的鲁棒性和有效性。

【技术实现步骤摘要】
一种基于Retinex的深度网络单幅图像去雾方法
本专利技术涉及一种图像去雾算法，具体说是一种基于Retinex的深度网络单幅图像去雾方法。
技术介绍
图像是视觉的基础，是计算机视觉获取并利用外界视觉信息的重要途径。然而，外界成像条件严重影响着图像质量，制约着计算机视觉研究领域的发展。复杂的光照条件和恶劣的天气是图像退化的主要原因，信噪比低、色偏、雾化和浑浊是图像退化的主要表现形式。在恶劣天气中，雾天气以其多发性和影响的严重性受到科研领域的广泛关注。雾天行人无法看清过往车辆，司机看不清前方行程，海上大雾将直接导致来往船只相撞。图像去雾是一种通过算法或多传感器融合等技术去除图像中雾的干扰，提高图像的视觉效果，获取更多的有效视觉信息的图像处理技术。该技术主要分为两类：一类为基于物理模型的复原方法；一类为基于图像处理的增强方法。复原方法主要研究成像模型的建立与模型参数的求解，通过逆模型方法获得复原图像。增强方法则不考虑成像过程，直接调节图像像素值以及像素值分布，获得视觉效果较好的增强图像。现有图像复原方法虽然能够得到较为自然的图像结果，但由于其使用的模型为简化模型，且需要估计的参数与引入的先验较多，因此算法的普适性和鲁棒性较差。图像增强方法由于未考虑成像过程，在实现全局增强的过程中，易造成图像突出部分的过度增强，导致图像失真和信息损失等问题。
技术实现思路
目前，图像去雾算法针对性较强，无法适用多变的雾天成像环境，普适性和鲁棒性很难达到实用要求。针对上述技术不足，本专利技术的目的是提供一种基于Retinex的深度网络单幅图像去雾方法。该方法采用的分解模型能更好地描述有雾图像的组成成分，且该方法在去雾方面，鲁棒性较好，泛化能力较强，处理速度较快，在多种有雾场景均能表现出良好的适应能力。实现本专利技术目的所采用的具体技术方案如下：一种基于Retinex的深度网络单幅图像去雾方法，包括以下步骤：步骤一：利用卷积层、池化层、残差密集连接网络块RDB和转置卷积层建立残余光照图像提取子网络、定义光照损失函数，扩充训练集图像并输入该子网络进行迭代训练、优化子网络模型用于输出对应的残余光照图像；步骤二：根据基于Retinex方法的去雾分解模型计算无雾图像；If(x,y)＝Inf(x,y)*Lrf(x,y)；其中，If(x,y)表示有雾图像，Inf(x,y)表示无雾图像，Lrf表示残余光照图像；步骤三：利用注意力机制网络块CSA、池化层、残差密集连接网络块RDB和转置卷积层建立空间域和通道域注意力机制的去雾U-Net子网络、定义去雾损失函数，将无雾图像输入该子网络进行迭代训练、优化子网络模型用于最终输出对应的自然光照下无雾图像；步骤四：采集实际有雾图像依次输入优化后的残余光照图像提取子网络模型、空间域和通道域注意力机制的去雾U-Net子网络模型，得到处理后的自然光照下无雾图像。所述训练集图像包括合成的有雾图像和无雾图像对。所述扩充训练集图像的方法包括：对数据集进行裁剪、变换和旋转操作，避免由于数据集过小出现过拟合问题。所述残余光照图像提取子网络的结构包括：将有雾图像输入多个尺度的池化层进行下采样操作，获取多尺度图像数据；将多尺度图像数据分别输入多个残差密集连接网络块RDB，提取多尺度特征；将不同尺度特征输入转置卷积层上采样操作为统一尺寸，获得相同尺寸的多尺度特征；将有雾图像和相同尺寸的多尺度特征串联后输入最后一层卷积层，输出残余光照图。所述残差密集连接网络块RDB包括多个密集连接块DB、层级特征融合HFF模块和残差学习RL模块，用于提取有雾图像的多尺度特征。是通过计算光照损失函数并与预设阈值比较判断残余光照图像提取子网络模型是否迭代截止：式中：LL表示输出的残余光照图像的光照损失函数；和分别表示输出的残余光照图像的绝对损失函数、SSIM损失函数和光滑损失函数；ωal、ωsml和ωsl分别表示相应损失函数的权重。所述去雾分解模型的推导过程如下：根据Retinex理论可知，有雾图像可以描述为：If(x,y)＝R(x,y)*Lf(x,y)式中：If表示有雾图像；R(x,y)表示反射图像；Lf表示受雾散射和吸收影响的光照图像；去雾后的图像被定义为：Inf(x,y)＝R(x,y)*Ln(x,y)式中：Inf表示无雾图像，Ln表示自然光照图像；因此有雾图像可以被进一步分解为：If(x,y)＝Inf(x,y)*Lrf(x,y)式中：Lrf(x,y)＝Lf(x,y)/Ln(x,y)，表示残余光照图像。所述空间域和通道域注意力机制去雾U-Net的结构包括：网络由收缩路径和扩张路径两部分组成：收缩路径用来获取语义信息，对称的扩张路径用来恢复位置信息；每一部分路径都包含四步，其中收缩路径的每一步均为残差密集连接网络块RDB和最大池化层组成，扩张路径的每一步均为残差密集连接网络块RDB和转置卷积层组成，并且在连接收缩路径和扩张路径之间设置注意力机制网络块CSA。是通过计算去雾损失函数并与预设阈值比较判断空间域和通道域注意力机制的去雾U-Net子网络模型是否迭代截止：式中：LD表示输出的自然光照下无雾图像的去雾损失函数；和分别表示输出的自然光照下无雾图像的绝对损失函数、SSIM损失函数和边缘损失函数；ωad、ωssd和ωegd分别表示相应损失函数的权重。本专利技术的有益效果为：1.本专利技术方法基于Retinex理论提出了新的有雾图像的分解方法，将原有雾图像分解为自然光照下的无雾图像和残余光照图像，描述了有雾图像的各组成成分之间的关系和差异，有效地用Retinex理论指导了图像的去雾过程。2.本专利技术方法建立了残余光照图像提取子网络，该网络能够处理多尺度图像数据，并获得处理后的多尺度图像特征。3.本专利技术方法建立了空间域和通道域注意力机制去雾U-Net，通过收缩路径来获取上下文信息以及用对称的扩张路径来精确定位，获得更加精细的去雾效果。4.本专利技术方法提出的光照损失函数和去雾损失函数能更好地指导网络的训练，得到最终的去雾模型。5.本专利技术方法的最终图像去雾结果较好，与其他方法相比，本专利技术方法具有较好的普适性和鲁棒性。附图说明图1是本专利技术整体深度网络框架；图2是本专利技术用到的残差密集连接网络块；图3是本专利技术用到的注意力机制网络块；图4是合成雾图像去雾结果；图5是真实雾图像去雾结果。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术进行进一步详细说明。此处说明若涉及到具体实例时仅仅用以解释本专利技术，并不限定本专利技术。本专利技术的具体框架如图1所示，方法主要分为五个步骤：建立基于Retinex理论的去雾分解模型、建立残余光照图像提取子网络、建立空间域和通道域注意力机制去雾U-Net本文档来自技高网...

【技术保护点】
1.一种基于Retinex的深度网络单幅图像去雾方法，其特征在于，包括以下步骤：/n步骤一：利用卷积层、池化层、残差密集连接网络块RDB和转置卷积层建立残余光照图像提取子网络、定义光照损失函数，扩充训练集图像并输入该子网络进行迭代训练、优化子网络模型用于输出对应的残余光照图像；/n步骤二：根据基于Retinex方法的去雾分解模型计算无雾图像；/nI

【技术特征摘要】
1.一种基于Retinex的深度网络单幅图像去雾方法，其特征在于，包括以下步骤：
步骤一：利用卷积层、池化层、残差密集连接网络块RDB和转置卷积层建立残余光照图像提取子网络、定义光照损失函数，扩充训练集图像并输入该子网络进行迭代训练、优化子网络模型用于输出对应的残余光照图像；
步骤二：根据基于Retinex方法的去雾分解模型计算无雾图像；
If(x,y)＝Inf(x,y)*Lrf(x,y)；
其中，If(x,y)表示有雾图像，Inf(x,y)表示无雾图像，Lrf表示残余光照图像；
步骤三：利用注意力机制网络块CSA、池化层、残差密集连接网络块RDB和转置卷积层建立空间域和通道域注意力机制的去雾U-Net子网络、定义去雾损失函数，将无雾图像输入该子网络进行迭代训练、优化子网络模型用于最终输出对应的自然光照下无雾图像；
步骤四：采集实际有雾图像依次输入优化后的残余光照图像提取子网络模型、空间域和通道域注意力机制的去雾U-Net子网络模型，得到处理后的自然光照下无雾图像。


2.根据权利要求1所述的一种基于Retinex的深度网络单幅图像去雾方法，其特征在于，所述训练集图像包括合成的有雾图像和无雾图像对。


3.根据权利要求1或2所述的一种基于Retinex的深度网络单幅图像去雾方法，其特征在于，所述扩充训练集图像的方法包括：对数据集进行裁剪、变换和旋转操作，避免由于数据集过小出现过拟合问题。


4.根据权利要求1所述的一种基于Retinex的深度网络单幅图像去雾方法，其特征在于，所述残余光照图像提取子网络的结构包括：
将有雾图像输入多个尺度的池化层进行下采样操作，获取多尺度图像数据；
将多尺度图像数据分别输入多个残差密集连接网络块RDB，提取多尺度特征；
将不同尺度特征输入转置卷积层上采样操作为统一尺寸，获得相同尺寸的多尺度特征；
将有雾图像和相同尺寸的多尺度特征串联后输入最后一层卷积层，输出残余光照图。


5.根据权利要求1所述的一种基于Retinex的深度网络单幅图像去雾方法，其特征在于，是通过...

【专利技术属性】
技术研发人员：李鹏越，田建东，唐延东，王国霖，张箴，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：辽宁;21