基于双支残差特征融合去雾方法技术

本发明专利技术公开了基于双支残差特征融合去雾方法，能够直接学习有雾图像和无雾图像之间的映射关系，提取不均匀雾气残差特征并实现去雾。其中上下文空间域注意结构和通道注意自编码结构分别关注特征图的像素空间和通道空间，自适应融合两分支提取的特征信息并输出最终雾层残差图，引入判别网络使去雾图像更接近真实观感。实验表明，本发明专利技术能够提供优于现有方法的去雾效果，但处理过程耗时较长，后续将优化网络输出雾霾层的效率，使其能应用于自动驾驶等工程实践中。驶等工程实践中。驶等工程实践中。

【技术实现步骤摘要】
基于双支残差特征融合去雾方法


[0001]本专利技术属于计算机视觉的图像恢复
，具体涉及基于双支残差特征融合去雾方法。

技术介绍

[0002]恶劣天气下捕获的图像会受到雾霾等杂质干扰，导致图像对比度和细节可见度降低，影响了后续计算机视觉算法的进行，因此对雾霾图像进行细节复原有重要的现实意义。传统图像去雾方法主要分为以下两类：
[0003]1)基于图像增强：忽略图像降质的理论原因，对图像特征进行增强来提高图像的色彩饱和度和对比度以实现去雾目的。例如小波变换、Retinex算法和直方图均衡化等。
[0004]2)基于图像复原：目前基于物理模型的去雾方法如下：通过物体表面色度与介质传播具有局部统计不相关性建立出介质传播图像实现去雾，去雾效率高但在高度模糊的图像上去雾效果差；基于暗通道先验的方法优先获取大气光值，并通过引导滤波优化透射率图进行图像去雾，去雾效果较好，但处理大面积白色区域时容易出现颜色失真；采用中值滤波估计介质透射率实现去雾，方法简洁但还原图容易产生光晕效应。上述去雾方法由于先验内容或人为约束的限制，具有一定场景局限本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双支残差特征融合去雾方法，其特征在于，具体按照以下步骤实施：步骤1、取多个场景，分别采集无雾霾场景下的原始图像和同一场景下人工制造的雾霾图像，组成有雾与无雾图像匹配对，并选取开源数据集中图像对，形成图像数据集；步骤2、将图像数据集按照9:1的比例分为训练集和测试集，对训练集进行数据增广，得到增广训练集；步骤3、将增广训练集中的图像对输入双支残差特征融合网络进行训练，得到优化的双支残差特征融合网络；步骤4、将测试集中的人工制造的雾霾图像输入优化的双支残差特征融合网络，进行基于卷积块、残差结构特征融合，提取雾层残差特征，输出雾霾杂质图层；步骤5、测试集中的人工制造的雾霾图像与雾霾杂质图层跳跃连接输出去雾图，将去雾图与测试集中相应的无雾图像的峰值信噪比和结构相似度进行对比，根据对比结果确定最优双支残差特征融合网络；步骤6、将待去雾图像输入最优双支残差特征融合网络，输出去雾图像。2.根据权利要求1所述的基于双支残差特征融合去雾方法，其特征在于，其特征在于，步骤2中所述对训练集进行数据增广具体过程为：对训练集图像对进行随机裁剪、水平翻转、区域遮挡，得到增广训练集。3.根据权利要求1所述的基于双支残差特征融合去雾方法，其特征在于，其特征在于，步骤3所述双支残差特征融合网络包括针对有雾图像的高频雾气区域进行像素注意的上下文空间域注意分支和针对高频雾霾特征的通道方向进行注意的通道域注意编解码分支，所述下文空间域注意分支通过将空间域注意模块插入多尺度扩张卷积组对雾霾特征的上下文像素空间进行权重赋值；所述通道域注意编解码分支通过设置ResNet自编码结构并引入通道注意解码结构对不同通道特征图的权重进行赋值，还包括特征融合分支，所述特征融合分支采用自适应权重融合像素注意和通道注意的雾层特征信息，输出不均匀雾气残差层。4.根据权利要求1所述的基于双支残差特征融合去雾方法，其特征在于，其特征在于，所述空间域注意模块用于有效关注浓密的雾度像素，表达形式为：SA
c
＝δ(f7×7[G
Max
(F
c1
)；G
Ave
(F
c1
)]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)式中，δ为Sigmoid激活函数，F
C1
为输入的特征图，f7×7为7
×
7卷积，为元素顺序将输入对应元素相乘。5.根据权利要求1所述的基于双支残差特征融合去雾方法，其特征在于，其特征在于，所述下文空间域注意分支通过将空间域注意模块插入多尺度扩张卷积组对雾霾特征的上下文像素空间进行权重赋值具体过程为：通过特征图平均池化和最大池化并在通道方向上进行拼接，特征图维度由C
×
H
×
W变为2
×
H
×
W；进行卷积核为7
×
7，步长为1，边界补零的卷积操作，得到输入特征图F
c1

【专利技术属性】
技术研发人员：胡辽林，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：