基于深度学习的单幅图像去雪花方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于深度学习的单幅图像去雪花方法、装置及存储介质，所述方法包括：通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U

【技术实现步骤摘要】
基于深度学习的单幅图像去雪花方法、装置及存储介质


[0001]本专利技术涉及图像去噪技术，属于图像处理领域，尤其涉及一种基于深度学习的单幅图像去雪花方法、装置及存储介质。

技术介绍

[0002]雪花作为一种特殊的天气现象，会降低背景场景的能见度，影响图像的清晰度，使得图像中有用的信息减少。对后续的图像处理任务产生巨大的负面效果，例如：目标检测、场景分析，以及其他的图像处理任务。尤其是在人工智能的应用方向上，大多数情况下需要清晰干净的图像来提取和处理正确的信息。因此，从单一图像中去除雪花具有重要的研究意义。
[0003]尽管目前大多数高光去除算法取得了一些成就，但还存在以下问题：
[0004]第一、大多数方法使用的是传统的建模方法，仅使用了雪花的一个或几个空间特征，使得基于建模的方法在实际的应用中泛用性不强；
[0005]第二、目前注意力机制在单幅图像去雪花方向没有得到广泛的应用，而且一般的U-net(U型结构网络)在修复雪花像素时存在图像失真等问题。

技术实现思路

[0006]针对单幅图像中雪花检测与修复任务，本专利技术提供了一种基于深度学习的单幅图像去雪花方法、装置及存储介质，处理后的图像中雪花去除效果很好，而且较原图像能保留更多的细节特征；在修复被雪花覆盖的像素时避免了图像失真与模糊等问题，详见下文描述：
[0007]第一方面，一种基于深度学习的单幅图像去雪花方法方法，所述方法包括：
[0008]通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；
[0009]将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U-net网络以及残差网络恢复出无雪图像；
[0010]将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；
[0011]采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像。
[0012]在一种实现方式中，所述注意力机制通过对比学习成对的含雪与无雪图像，来识别图像中的雪花，从而提取雪花像素的特征。
[0013]在一种实现方式中，所述无雪图像生成部分包括：编码部分和解码部分，
[0014]编码部分包含4个下采样层，每个下采样层包含一个卷积层和激活层；在每一个下采样层中，将图像的分辨率降为原来的1/2，同时提取的特征数变为原来的两倍；将第一个下采样层输入的特征数设置为32，图像的分辨率为256*256；通过4层下采样操作后，得到的
特征数为512，图像的分辨率为16*16；在U-net的第五层，使用残差网络来提高网络的感受野；
[0015]解码部分使用了跳跃连接，将下采样层的输出与具有相同分辨率的上采样层输出合并，输入到下一上采样层中；上采样层结构与下采样层结构相同，每一个上采样层使得图像的分辨率变为原来的两倍，特征数降为原来的1/2；经过4层上采样操作，得到解码后的无雪图像特征，特征数为32，图像分辨率为256*256；通过Tanh层，使用无雪图像特征恢复出彩色的无雪图像。
[0016]在一种实现方式中，所述方法通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。
[0017]第二方面，一种基于深度学习的单幅图像去雪花装置，所述装置包括：
[0018]提取模块，用于通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；
[0019]无雪图像生成模块，用于将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U-net网络以及残差网络恢复出无雪图像；
[0020]训练模块，用于将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；
[0021]生成模块，用于采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像。
[0022]在一种实现方式中，所述提取模块包括：注意力机制单元，
[0023]所述注意力机制单元，用于通过对比学习成对的含雪与无雪图像，来识别图像中的雪花，从而提取雪花像素的特征。
[0024]在一种实现方式中，所述装置还包括：
[0025]计算模块，用于通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。
[0026]第三方面，一种基于深度学习的单幅图像去雪花装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面所述的方法步骤。
[0027]第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面所述的方法步骤。
[0028]本专利技术提供的技术方案的有益效果是：
[0029]1、本专利技术利用神经网络的自我学习能力，自动提取图片中雪花像素的特征，从而提高了单幅图像雪花检测的效率；
[0030]2、本专利技术在雪花像素恢复时使用U-net与空洞卷积，在少量提高网络参数的情况下，提高了修复后无雪图像的质量。
附图说明
[0031]图1为一种基于深度学习的单幅图像去雪花方法的流程图；
[0032]图2为一种基于深度学习的单幅图像去雪花方法的另一流程图；
[0033]图3为雪花注意图生成部分的示意图；
[0034]图4为无雪图像生成部分的示意图；
[0035]图5为判别器的示意图；
[0036]图6为用到的两种残差块的示意图；
[0037]图7为含雪图像及网络生成的雪花注意力图的示意图；
[0038]图8为合成含雪图像的示意图；
[0039]图9为对图8处理后得到的无雪图像的示意图；
[0040]图10为真实含雪图像的示意图；
[0041]图11为对图10处理后得到的无雪图像的示意图；
[0042]图12为一种基于深度学习的单幅图像去雪花装置的结构示意图；
[0043]图13为基于深度学习的单幅图像去雪花的结构示意图；
[0044]图14为一种基于深度学习的单幅图像去雪花装置的另一结构示意图。
具体实施方式
[0045]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。
[0046]本专利技术实施例采用的实验对象包括合成的下雪图像以及现实生活中的随机拍摄的下雪图像，针对含雪图像中信息丢失的问题，本专利技术实施例提出了一种基于深度学习的单幅图像去雪花方法，参见图1，该方法包括以下步骤：
[0047]步骤101：以单幅图像去雪花模型为基础，其中描述单幅含雪图像表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的单幅图像去雪花方法，其特征在于，所述方法包括：通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U-net网络以及残差网络恢复出无雪图像；将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像。2.根据权利要求1所述的一种基于深度学习的单幅图像去雪花方法，其特征在于，所述注意力机制通过对比学习成对的含雪与无雪图像，来识别图像中的雪花，从而提取雪花像素的特征。3.根据权利要求1所述的一种基于深度学习的单幅图像去雪花方法，其特征在于，所述无雪图像生成部分包括：编码部分和解码部分，编码部分包含4个下采样层，每个下采样层包含一个卷积层和激活层；在每一个下采样层中，将图像的分辨率降为原来的1/2，同时提取的特征数变为原来的两倍；将第一个下采样层输入的特征数设置为32，图像的分辨率为256*256；通过4层下采样操作后，得到的特征数为512，图像的分辨率为16*16；在U-net的第五层，使用残差网络来提高网络的感受野；解码部分使用了跳跃连接，将下采样层的输出与具有相同分辨率的上采样层输出合并，输入到下一上采样层中；上采样层结构与下采样层结构相同，每一个上采样层使得图像的分辨率变为原来的两倍，特征数降为原来的1/2；经过4层上采样操作，得到解码后的无雪图像特征，特征数为32，图像分辨率为256*256；通过Tanh层，使用无雪图像特征恢复出彩色的无雪图像。4.根据权利要求1所述的一种基于深度学...

【专利技术属性】
技术研发人员：贾振红，贾爱文，
申请(专利权)人：新疆大学，
类型：发明
国别省市：