一种滚动深度学习与Retinex理论结合的遥感图像雾霾去除方法技术

本发明专利技术公开了一种滚动深度学习与Retinex理论结合的遥感图像雾霾去除方法。该方法的主要步骤包括：1、输入原始含雾霾的图像；2、基于DeHazeNet算法的图像雾霾去除滚动处理；3、获得相对稳定的清晰图像；4、对相对稳定的清晰图像进行饱和度和亮度均衡化增强处理；5、用Retinex理论对相对稳定清晰图像进行雾霾去除处理，得到图像；步骤6：将步骤4获得的图像和步骤5获得的图像进行融合处理，即可获得最终滤除雾霾的图像。该方法不仅能够有效地去除图像中的雾霾，更重要的是能有效保持丰富的细节信息和高对比度的图像，而且图像视觉效果好，颜色失真少，具有较好的推广和应用价值。

【技术实现步骤摘要】
一种滚动深度学习与Retinex理论结合的遥感图像雾霾去除方法
本专利技术属于遥感图像处理
，具体涉及一种滚动深度学习与Retinex理论结合的遥感图像雾霾去除方法。
技术介绍
雾霾天气产生的原因是空气中包含了大量的气溶胶和浮尘颗粒，使光线在大气中的透射率降低，场景区域反射回来的光线减少，导致场景区域被摄的影像模糊感强烈，呈现一片灰蒙蒙的感觉。这给室外拍摄、自动驾驶、目标跟踪、导航和光学遥感带来了极大的影响，因此去除光学图像和视频中雾霾带来的影响是图像预处理的重要内容。针对图像中雾霾的去除存在许多方法，这些方法归纳起来大概可以分成三类。第一类方法是从图像复原的角度，通过对大气物理散射模型参数的估计和计算来恢复无雾霾场景的图像。最为典型的方法是暗通道先验法(DCP)，通过对室外大量清晰图像的分析，使用最小滤波法和图像抠图法对介质传播函数进行估计，实现雾霾的有效去除。但是，对于复杂场景的雾霾图像，例如大面积白色或天空区域，使用该方法效果不理想，容易产生失真现象。第二类方法是通过图像增强的方式来实现图像雾霾的消除，包含各种滤波算法、直方图均衡化方法和小波变换法等。比较典型的方法是基于Retinex(视网膜大脑皮层理论)理论的系列算法。Retinex理论是一种描述颜色不变性的数学模型，对于由光照引起的对比度不均衡有较好的改善作用。最具有代表性的是单尺度Retinex(SSR)算法和多尺度Retinex(MSR)算法，近些年来还有出现了许多其他的改进算法。用Retinex理论算法处理雾霾图像，虽然通过设置不同的尺度参数，能够有效去除雾霾的影响，但是图像的颜色通常会产生失真。第三类是方法近几年来兴起的深度学习理论，它们也被用于图像雾霾的去除处理。典型的是DeHazeNet算法，其设计出了用一种端到端的卷积神经网络(CNN)来实现对雾霾图像透射率图的估计，然后结合传统大气散射物理模型来实现图像雾霾的消除。但是使用该方法是如果训练数据不全面，则会致使透射率估计不准确，最终导致雾霾去除效果差。
技术实现思路
针对
技术介绍
中第一类方法在处理复杂场景雾霾图像时，效果不理想，而且容易出现失真的问题，同时参数估计不准确，会使去雾霾效果不明显，第二类方法能有效消除雾霾，但容易产生失真问题，以及第三类方法由于透射率不准确导致的去除雾霾效果差的问题，本专利技术提出一种滚动式深度学习与Retinex理论相结合的遥感图像雾霾消除方法。本专利技术的具体技术方案是：提供了一种滚动式深度学习与Retinex理论相结合的图像雾霾消除方法，包括以下实现步骤：步骤1：输入原始含雾霾的图像；步骤2：基于DeHazeNet算法的图像雾霾去除滚动处理；步骤2.1：设置滚动处理次数M以及峰值信噪比阈值δ；步骤2.2：第一次去除处理将原始含雾霾的图像作为输入，利用DeHazeNet算法来估计原始含雾霾的图像在大气雾霾模型中透射率参数，然后通过大气散射物理模型恢复出第一次处理后的无雾图像，并计算第一次处理后的无雾图像的峰值信噪比；步骤2.3：第二次去除处理将第一次处理后的无雾图像作为输入，利用DeHazeNet算法来估计第一次处理后的无雾图像在大气雾霾模型中透射率参数，然后通过大气散射物理模型恢复出第二次处理后的无雾图像，并计算第二次处理后的无雾图像的峰值信噪比；步骤2.4：反复执行步骤2.3，若执行次数大于M，则终止滚动处理，开始执行步骤3：若执行次数小于M，则利用相邻两幅无雾图像的峰值信噪比值之差小于预定的峰值信噪比阈值δ，则终止滚动处理，开始执行步骤3：步骤3：获得相对稳定的清晰图像；若步骤2中任意获取的连续三幅无雾图像的峰值信噪比满足条件：则认为第n-2次所获得图像就是相对稳定的清晰图像IRSC；若步骤2中所有无雾图像均无法满足以上条件，则返回步骤2.1重新设置滚动处理次数之后再次执行步骤2.3和步骤2.4；步骤4：对相对稳定的清晰图像IRSC进行饱和度和亮度均衡化增强处理；步骤4.1：提取相对稳定的清晰图像IRSC的R分量图像、G分量图像以及B分量图像；步骤4.2：计算HSI图像的H、S和I分量图像；步骤4.3：对S分量图像采用增强和直方图均衡化处理进行饱和度增强；步骤4.4：对S分量图像进行均衡化处理进行亮度增强；步骤4.5：最后把处理后的HSI图像再转换成RGB图像，得到饱和度和亮度均增强后的图像ISI；步骤5：用Retinex理论对相对稳定清晰图像IRSC进行雾霾去除处理，得到图像IR；步骤6：将步骤4.5获得的图像ISI和步骤5获得IR进行融合处理，即可获得最终滤除雾霾的图像IF。进一步地，上述步骤1中所述的原始图像为多光谱遥感图像或者室外RGB图像。进一步地，上述步骤2中利用DeHazeNet算法来估计图像在大气雾霾模型中透射率参数的具体过程为：步骤A1：第一层输出特征的提取；利用DeHazeNet算法网络的卷积运算结果并结合最大值滤波输出来提取第一层的输出特征，具体计算公式为：其中，F1i(x)表示第一层输出特征，j表示第j次进行的最大值滤波操作，k代表整个处理的次数，W和B表示权重和偏置，符号*表示卷积运算，表示卷积运算提取的特征，1表示第一层，i代表第i个卷积核特征，即输出特征的维数；步骤A2：采用多尺度映射获取第二层的输出特征；对步骤A1获得的输出特征进行多尺度映射，具体计算式为：式中，表示向上取整数，符合\表示余数操作，i表示输出特征的维数；表示第二层输出特征；步骤A3：局部极值获取第三层的输出特征，具体计算公式为式中，Ω(x)是以像素x为中心的某个领域的集合；表示第三层输出特征；步骤A4：利用非线性回归获得第四层输出特征；具体计算公式为：F4＝min[tmax,max(tmin,W4*F3+B4)](4)式中，F4表示第四层输出特征，即估计的透射率参数；tmax表示透射率的最大值，tmin表示透射率的最小值，F3代表第三层的输出特征，W4和B4分别为第四层的滤波器和偏置。进一步地，上述步骤2中无雾图像的峰值信噪比的具体过程为：式中：eMSE表示均方误差，I(m,n)表示原始图像，F(m,n)表示每次处理后的无雾图像；m,n分别表示图像像素点；M·N表示图像大小；FMAX表示每次处理后的无雾图像的最大灰度值。进一步地，上述步骤4.1的提取相对稳定的清晰图像IRSC的R分量图像、G分量图像以及B分量图像的具体公式为：进一步地，上述步骤4.2计算HSI图像的H、S和I分量图像；：将R、G和B分量图像归一化到[0,1]范围内，然后计算出HSI图像的H、S和I分量图像，具体公式为：7进一步地，上述步骤4.5的具体转换过程为：判断S和I分量的本文档来自技高网...

【技术保护点】
1.一种滚动式深度学习与Retinex理论相结合的图像雾霾消除方法，其特征在于，包括以下实现步骤：/n步骤1：输入原始含雾霾的图像；/n步骤2：基于DeHazeNet算法的图像雾霾去除滚动处理；/n步骤2.1：设置滚动处理次数M以及峰值信噪比阈值δ；/n步骤2.2：第一次去除处理/n将原始含雾霾的图像作为输入，利用DeHazeNet算法来估计原始含雾霾的图像在大气雾霾模型中透射率参数，然后通过大气散射物理模型恢复出第一次处理后的无雾图像，并计算第一次处理后的无雾图像的峰值信噪比；/n步骤2.3：第二次去除处理/n将第一次处理后的无雾图像作为输入，利用DeHazeNet算法来估计第一次处理后的无雾图像在大气雾霾模型中透射率参数，然后通过大气散射物理模型恢复出第二次处理后的无雾图像，并计算第二次处理后的无雾图像的峰值信噪比；/n步骤2.4：反复执行步骤2.3，若执行次数大于M，则终止滚动处理，开始执行步骤3：若执行次数小于M，则利用相邻两幅无雾图像的峰值信噪比值之差小于预定的峰值信噪比阈值δ，则终止滚动处理，开始执行步骤3：/n步骤3：获得相对稳定的清晰图像；/n若步骤2中任意获取的连续三幅无雾图像的峰值信噪比满足条件：/n...

【技术特征摘要】
1.一种滚动式深度学习与Retinex理论相结合的图像雾霾消除方法，其特征在于，包括以下实现步骤：
步骤1：输入原始含雾霾的图像；
步骤2：基于DeHazeNet算法的图像雾霾去除滚动处理；
步骤2.1：设置滚动处理次数M以及峰值信噪比阈值δ；
步骤2.2：第一次去除处理
将原始含雾霾的图像作为输入，利用DeHazeNet算法来估计原始含雾霾的图像在大气雾霾模型中透射率参数，然后通过大气散射物理模型恢复出第一次处理后的无雾图像，并计算第一次处理后的无雾图像的峰值信噪比；
步骤2.3：第二次去除处理
将第一次处理后的无雾图像作为输入，利用DeHazeNet算法来估计第一次处理后的无雾图像在大气雾霾模型中透射率参数，然后通过大气散射物理模型恢复出第二次处理后的无雾图像，并计算第二次处理后的无雾图像的峰值信噪比；
步骤2.4：反复执行步骤2.3，若执行次数大于M，则终止滚动处理，开始执行步骤3：若执行次数小于M，则利用相邻两幅无雾图像的峰值信噪比值之差小于预定的峰值信噪比阈值δ，则终止滚动处理，开始执行步骤3：
步骤3：获得相对稳定的清晰图像；
若步骤2中任意获取的连续三幅无雾图像的峰值信噪比满足条件：



则认为第n-2次所获得图像就是相对稳定的清晰图像IRSC；
若步骤2中所有无雾图像均无法满足以上条件，则返回步骤2.1重新设置滚动处理次数之后再次执行步骤2.3和步骤2.4；
步骤4：对相对稳定的清晰图像IRSC进行饱和度和亮度均衡化增强处理；
步骤4.1：提取相对稳定的清晰图像IRSC的R分量图像、G分量图像以及B分量图像；
步骤4.2：计算HSI图像的H、S和I分量图像；
步骤4.3：对S分量图像采用增强和直方图均衡化处理进行饱和度增强；
步骤4.4：对S分量图像进行均衡化处理进行亮度增强；
步骤4.5：最后把处理后的HSI图像再转换成RGB图像，得到饱和度和亮度均增强后的图像ISI；
步骤5：用Retinex理论对相对稳定清晰图像IRSC进行雾霾去除处理，得到图像IR；
步骤6：将步骤4.5获得的图像ISI和步骤5获得IR进行融合处理，即可获得最终滤除雾霾的图像IF。


2.根据权利要求1所述的滚动式深度学习与Retinex理论相结合的遥感图像雾霾消除方法，其特征在于：所述步骤1中所述的原始图像为多光谱遥感图像或者室外RGB图像。


3.根据权利要求1所述的滚动式深度学习与Retinex理论相结合的遥感图像雾霾消除方法，其特征在于：步骤2中利用DeHazeNet算法来估计图像在大气雾霾模型中透射率参数的具体过程为：
步骤A1：第一层输出特征的提取；
利用DeHazeNet算法网络的卷积运算结果并结合最大值滤波输出来提取第一层的输出特征，具体计算公式为：



其中，F1i(x)表示第一层输出特征，j表示第j次进行的最大值滤波操作，k代表整个处理的次数，W和B表示权重和偏置，符号*表示卷...

【专利技术属性】
技术研发人员：黄世奇，徐杰，王文庆，卢莹，孙柯，吝张茹，程磊，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：陕西;61