基于U-Net结构和残差网络的单幅图像去雾网络及其去雾方法技术

本发明专利技术公开了一种基于U

【技术实现步骤摘要】
基于U
‑
Net结构和残差网络的单幅图像去雾网络及其去雾方法


[0001]本专利技术涉及数字图像处理
，具体涉及基于U
‑
Net结构和残差网络的单幅图像去雾网络及其去雾方法。

技术介绍

[0002]雾霾天气是一种常见的自然现象。在雾霾天气条件下，空气中存在大量能够散射光线的微小颗粒，通过散射太阳光和物体反射的光线，造成可见光图像采集设备获取的图像质量大幅下滑，对高级计算机视觉任务产生恶劣的影响。为了改善图像的质量，提高图像的清晰度，对图像进行去雾处理很有必要。
[0003]图像去雾的方法大体可以分为传统方法和基于学习的方法两大类，其中传统方法又可以分为两大类：一类是基于物理模型的去雾方法，另一类是基于图像增强的方法。基于物理模型的方法依赖于大气散射模型，通过各种先验假设来获得大气散射模型中的未知参数，最后通过反解大气散射模型得到无雾图片。其中比较著名的是暗通道先验假设(dark channel prior)，该假设通过搜索RGB图像三通道内最低值的像素点来还原透射率分布图，并通过图像内最明亮区域构建全局大气光照，最后通过大气散射模型还原无雾图片。然而暗通道先验假设对存在大范围天空区域的图像会失效，同时无法复原白色物体的细节纹理。基于图像增强的去雾方法常见的有直方图均衡化、对比度增强和基于Retinex理论的相关算法等，这类方法对景物深度变化比较大的图像的增强效果不理想，而且容易造成增强过度，使得图像不自然。
[0004]基于学习的方法不同于传统方法，这种方法不再依赖于手工提取的特征，而是通过构建卷积神经网络，让网络从数据集中学习如何提取特征。早期的去雾网络依赖于传统的大气散射模型，如DehazeNet，通过网络还原透射率分布图，再输入到大气散射模型中获得去雾图像。AOD
‑
Net通过对大气散射模型进行变形，从而利用网络只估计一个未知量便可以获得去雾图像。基于大气散射的深度网络虽然能够达到比传统方法更好的去雾效果，但大气散射模型限制了卷积神经网络的学习能力，因此人们开始尝试直接使用网络进行端到端的去雾；与此同时，残差网络的出现解除了网络模型深度的限制，去雾网络开始向更大更深的方向发展。GridDehazeNet基于密集卷积残差块和注意力机制，提出了一个融合了上下采样的网格状网络，实现了端到端的去雾并取得良好的效果。然而融合了上采样和下采样过程中难免会造成信息丢失，去雾网络会出现去雾不均匀和细节还原较差的问题。基于深度学习的方法近些年来发展迅速，但仍然存在一定的局限性，需要进一步改进和提高。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于U
‑
Net结构和残差网络的去雾网络及其去雾方法。该网络不依赖于大气散射模型，可以实现端到端的去雾。
[0006]为达到上述目的，本专利技术的技术方案为：基于U
‑
Net结构和残差模块的残差网络，
基于U
‑
Net的网络结构，利用残差模块构建一个端到端的去雾残差网络。
[0007]网络结构是基于U
‑
Net结构构建的残差网络，由编码层、解码层以及连接两个区域的中间瓶颈区构成。
[0008]编码区包含了一个3x3的卷积层和3个两倍下采样的下采样层，其中下采样层步长为2；经过卷积后图片变为16通道的特征图，特征图大小与输入图片相同；而经过一次下采样后特征图大小缩小为原先的一半，层数翻倍；在下采样层第一次卷积和第二次下采样后，连接了注意力机制残差块；第一次和第三次下采样后，连接了普通的残差块。
[0009]经过下采样层处理的特征图大小为原图的八分之一，通道数为128，该特征图进入瓶颈区后首先通过三个串联的平滑空洞卷积残差块，得到的新特征图大小和通道数不变；之后，将下采样层中不同尺度的特征进一步下采样处理，得到与新特征大小、通道数相同的特征，并与新特征进行逐元素加权求和；其中各特征的权值为可学习的参数，在网络迭代过程中自适应调整；最后将加权求和得到的新特征再通过一组三个串联的平滑空洞卷积残差块，并将此特征输入到解码层。
[0010]所述解码层由三个上采样层和两个3x3卷积层构成，其中每个上采样层后面连接了一个残差块；每次上采样后得到的新特征大小翻倍，特征通道数缩减为一半；每次上采样结束后，都将编码层对应大小和维度的特征与之逐元素相加，再输入到残差块中；网络第一层卷积层输出的特征，经过5个串联的密集卷积残差块后，再与最后一个上采样得到的特征进行逐元素相加，以此得到的新特征最终输入到最后两个卷积层并输出一个与原始输入相同大小的清晰图像。
[0011]本专利技术还提供了一种基于U
‑
Net结构和残差模块的残差网络图像去雾方法，该方法包括以下步骤：
[0012]步骤1)：获取合成雾天数据集RESIDE作为训练数据集，并对数据集进行预处理。
[0013]步骤2)：依据权利要求1提供的基于U
‑
Net结构和残差模块的残差网络结构，构造去雾网络模型。
[0014]步骤3)：将合成雾天数据集输入到所述去雾网络模型中，对所述去雾网络模型进行训练，在训练过程中通过新的损失函数计算损失，不断迭代更新网络参数，最终得到优化的去雾模型，进行图像去雾。
[0015]进一步地，步骤1)中，对RESIDE数据集预处理的具体方法如下：
[0016]训练数据集中一对有雾图像和清晰图像为(I，J)，其中I，J∈R
C
×
H
×
W
，I表示有雾图像，J表示清晰图像，C表示图像的通道数，H和W表示图像的高度和宽度。
[0017]针对图像进行随机裁剪后，得到的图像为(I
crop
，J
crop
)，其中I
crop
表示裁剪后的有雾图像，J
crop
表示裁剪后的清晰图像，I
crop
J
crop
∈R
C
×
h
×
w
这里h和w表示裁剪后图像的高度和宽度。
[0018]裁剪得到(I
crop
，J
crop
)后，针对有雾图像进行归一化处理；归一化后的有雾图片并与裁剪后的清晰图像J
crop
组成一对数据对以此作为去雾网络的输入。
[0019]进一步地，随机裁剪的步骤具体为：
[0020]设定为h＝w＝240，首先确定裁剪的基准点坐标(x0，y0)，再基于基准点确定矩形框剩余三点坐标(x0+240，y0)、(x0，y0+240)和(x0+240，y0+240)，最后基于这四点在图像对(I，J)的相同位置裁剪出相同大小的矩形框；其中(x0，y0)需满足x0∈[0，H
‑
h]，y0∈[0，W
‑
w]；
[0021]进一步地，归一化处理具体为：首先获得整个数据集的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于U
‑
Net结构和残差模块的残差网络，其特征在于，基于U
‑
Net的网络结构，利用残差模块构建一个端到端的去雾残差网络；网络结构是基于U
‑
Net结构构建的残差网络，由编码层、解码层以及连接两个区域的中间瓶颈区构成；所述编码层包含了一个3x3的卷积层和3个两倍下采样的下采样层，其中下采样层步长为2；所述解码层由三个上采样层和两个3x3卷积层构成，其中每个上采样层后面连接了一个残差块；所述中间瓶颈区顺次包括第一组三个串联的平滑空洞卷积残差块、一个下采样层以及一个特征加权求和模块以及第二组三个串联的平滑空洞卷积残差块。2.如权利要求1所述的基于U
‑
Net结构和残差模块的残差网络，其特征在于，所述编码层中，图片输入后，经过卷积层后变为16通道的特征图，特征图大小与输入图片相同；而经过一次下采样后特征图大小缩小为原先的一半，层数翻倍；在下采样层第一次卷积和第二次下采样后，连接了注意力机制残差块；第一次和第三次下采样后，连接了普通的残差块；经过下采样层处理的特征图大小为原图的八分之一，通道数为128，该特征图进入瓶颈区；所述瓶颈区对特征图后首先通过第一组三个串联的平滑空洞卷积残差块，得到的新特征图大小和通道数不变；之后，将下采样层中不同尺度的特征进一步下采样层处理，得到与新特征大小、通道数相同的特征，并在特征加权求和模块与新特征进行逐元素加权求和；其中各特征的权值为可学习的参数，在网络迭代过程中自适应调整；最后将加权求和得到的新特征再通过第二组三个串联的平滑空洞卷积残差块，并将此特征输入到解码层。所述解码层，将每次上采样后得到的新特征大小翻倍，特征通道数缩减为一半；每次上采样结束后，都将编码层对应大小和维度的特征与之逐元素相加，再输入到残差块中；网络第一层卷积层输出的特征，经过5个串联的密集卷积残差块后，再与最后一个上采样得到的特征进行逐元素相加，以此得到的新特征最终输入到最后两个卷积层并输出一个与原始输入相同大小的清晰图像。3.所述解码层的残差块由两组卷积层和relu层组成，并将输入特征通过逐元素相加的方式跳跃连接至第二个卷积层和relu层之间。4.基于U
‑
Net结构和残差模块的残差网络图像去雾方法，其特征在于，该方法包括以下步骤：步骤1)：获取合成雾天数据集RESIDE作为训练数据集，并对数据集进行预处理；步骤2)：依据权利要求1提供的基于U
‑
Net结构和残差模块的残差网络结构，构造去雾网络模型；步骤3)：将合成雾天数据集输入到所述去雾网络模型中，对所述去雾网络模型进行训练，在训练过程中通过新的损失函数计算损失，不断迭代更新网络参数，最终得到优化的去雾模型，进行图像去雾。5.根据权利要求4所述的方法，其特征在于，所述步骤1)中，对RESIDE数据集预处理的具体方法如下：训练数据集中一对有雾图像和清晰图像为(I，J)，其中I，J∈R
C
×
H
×
W
，I表示有雾图像，J
表示清晰图像，C表示图像的通道数，H和W表示图像的高度和宽度；针对图像进行随机裁剪后，得到的图像为(I
crop
，J
crop
)，其中I
...

【专利技术属性】
技术研发人员：白永强，张文博，陈杰，窦丽华，邓方，甘明刚，蔡涛，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：