基于选择性机制注意力机制的雨图去雨方法、系统及设备技术方案

本发明专利技术属于数据处理领域，具体涉及了一种基于选择性机制注意力机制的雨图去雨方法、系统及设备，旨在提高去雨质量。本发明专利技术方法包括：获取待去雨处理的雨图作为初始输入图像；将初始输入图像，通过基于选择性小波注意力编码器SWAE和选择性小波注意力解码器SWAG的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；SWAE和SWAG跳层连接；SWAE将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；SWAG在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。本发明专利技术提高了去雨质量，同时保证了去雨质量的稳定性。

【技术实现步骤摘要】
基于选择性机制注意力机制的雨图去雨方法、系统及设备
本专利技术属于数据处理领域，具体涉及了一种基于选择性机制注意力机制的雨图去雨方法、系统及设备。
技术介绍
单张图像去雨是图像到图像转换任务的一种，具有一定的商业价值，在自动驾驶、目标检测等工业落地场景都有应用。单张雨图像包含不同形状、大小、方向、疏密度的雨纹和雨滴以及背景场景。单张图像去雨需要尽可能地去除雨水纹理并恢复干净的背景图。目前的方法采用深度学习技术，利用一些先验信息从单一图像中去除雨纹。例如降雨密度，场景深度，置信图等。除此之外，许多方法利用先进的深度网络结构，如ResNet，DenseNet，金字塔网络等。为了提升去雨效率并获得更好的去雨结果，最近产生了许多基于注意力机制的工作，它们使得模型更关注于雨图中有雨纹的区域。但是，由于雨条纹的表观和积累的多样性，在嵌入空间中很难对雨纹和背景信息进行分离，导致不仅在图像像素域会出现效果不自然的情况，在语义嵌入空间也可能存在内在地重叠。这些具有挑战性的技术难点使得去雨效果还有很大的提升空间。
技术实现思路
为了解决现有技术中的上述问题，即为了提高去雨质量，本专利技术的第一方面，提供了一种基于选择性机制注意力机制的雨图去雨方法，包括以下步骤：步骤S100，获取待去雨处理的雨图作为初始输入图像；步骤S200，将所述初始输入图像，通过基于选择性小波注意力编码器和选择性小波注意力解码器的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；其中，所述选择性小波注意力编码器和所述选择性小波注意力解码器跳层连接；所述选择性小波注意力编码器，配置为将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；所述选择性小波注意力解码器，配置为在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。在一些优选实施方式中，所述去雨网络模型的参数通过生成判别网络模型进行训练获取；所述生成判别网络模型的生成网络为所述去雨网络模型、判别网络为小波注意力鉴别器；所述小波注意力鉴别器配置为区分雨图像及该图像通过生成网络获取的无雨图像。在一些优选实施方式中，所述小波注意力鉴别器基于选择性小波注意力编码器和残差块进行构架，每个选择性小波注意力编码器配置一个侧卷积层，各侧卷积层的输出进行通道串联。在一些优选实施方式中，所述选择性小波注意力编码器，其对输入特征的处理方法包括：将输入特征分解为一组小波系数，并对各小波系数进行独立残差处理；利用输入特征和处理后的小波系数获取小波注意力图；利用所述小波注意力图来分离输入特征中的雨特征和背景特征；将输入特征中的雨特征进行下采样。在一些优选实施方式中，所述选择性小波注意力解码器，其对输入特征的处理方法包括：对输入特征进行上采样，得到小波系数C；对所述小波系数C和跳连过来的背景特征进行融合，得到融合后的小波系数Wg；采用一组并行残差块对融合后的小波系数Wg进行独立的细化，并进行小波重建。在一些优选实施方式中，所述小波嵌入块采用1级haar小波。本专利技术的第二方面，提出了一种基于选择性机制注意力机制的雨图去雨系统，包括图雨图取单元、去雨处理单元；所述雨图获取单元，配置为获取待去雨处理的雨图作为初始输入图像；所述去雨处理单元，配置为将所述初始输入图像，通过基于选择性小波注意力编码器和选择性小波注意力解码器的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；其中，所述选择性小波注意力编码器和所述选择性小波注意力解码器跳层连接；所述选择性小波注意力编码器，配置为将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；所述选择性小波注意力解码器，配置为在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。在一些优选实施方式中，所述选择性小波注意力编码器包括小波嵌入块、注意力估计块、注意力选择块和小波池化块；所述小波嵌入块，配置为将输入特征分解为一组小波系数，并对各小波系数进行独立残差处理；所述注意力估计块，配置为利用输入特征和处理后的小波系数获取小波注意力图；所述注意力选择块，配置为利用所述小波注意力图来分离输入特征中的雨特征和背景特征；所述小波池化块，配置为将输入特征中的雨特征进行下采样。在一些优选实施方式中，所述选择性小波注意力解码器包括小波反池化块、小波融合块、小波精细化块；所述小波反池化块，配置为对输入特征进行上采样，得到小波系数C；所述小波融合块，配置为对所述小波系数C和跳连过来的背景特征进行融合，得到融合后的小波系数Wg；所述小波精细化块，配置为采用一组并行残差块对融合后的小波系数Wg进行独立的细化，并进行小波重建。本专利技术的第三方面，提出了一种设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述任一项所述的基于选择性机制注意力机制的雨图去雨方法。本专利技术的第四方面，提出了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述任一项所述的基于选择性机制注意力机制的雨图去雨方法。本专利技术的有益效果：1、本专利技术提高了雨图的去雨质量，保证了去雨质量的稳定性。2、通过学习小波注意力图来指导不同尺度下的雨和背景信息在嵌入空间中的分离，使得模型的去雨性能更好并且泛化能力更强。3、本专利技术中小波池化和去池化有效的提高了背景场景细节的恢复。4、本专利技术中去雨网络模型的训练采用基于选择性小波注意力的生成对抗性网络，为真实感图像合成提供了一种有效的生成对抗方法。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本专利技术一实施例中的去雨网络模型结构示意图；图2是本专利技术一实施例中的残差块结构示意图；图3是本专利技术一实施例中选择性小波注意力编码器结构示意图；图4是本专利技术一实施例中二维离散小波变换示意图；图5是本专利技术一实施例中选择性小波注意力解码器结构示意图；图6是本专利技术一实施例中选择性小波注意力判别器结构示意图；图7是是本专利技术在数据库DDN上进行去雨的实例。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请本文档来自技高网...

【技术保护点】
1.一种基于选择性机制注意力机制的雨图去雨方法，其特征在于，包括以下步骤：/n步骤S100，获取待去雨处理的雨图作为初始输入图像；/n步骤S200，将所述初始输入图像，通过基于选择性小波注意力编码器和选择性小波注意力解码器的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；/n其中，/n所述选择性小波注意力编码器和所述选择性小波注意力解码器跳层连接；/n所述选择性小波注意力编码器，配置为将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；/n所述选择性小波注意力解码器，配置为在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。/n

【技术特征摘要】
1.一种基于选择性机制注意力机制的雨图去雨方法，其特征在于，包括以下步骤：
步骤S100，获取待去雨处理的雨图作为初始输入图像；
步骤S200，将所述初始输入图像，通过基于选择性小波注意力编码器和选择性小波注意力解码器的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；
其中，
所述选择性小波注意力编码器和所述选择性小波注意力解码器跳层连接；
所述选择性小波注意力编码器，配置为将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；
所述选择性小波注意力解码器，配置为在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。


2.根据权利要求1所述的基于选择性机制注意力机制的雨图去雨方法，其特征在于，所述去雨网络模型的参数通过生成判别网络模型进行训练获取；
所述生成判别网络模型的生成网络为所述去雨网络模型、判别网络为小波注意力鉴别器；
所述小波注意力鉴别器配置为区分雨图像及该图像通过生成网络获取的无雨图像。


3.根据权利要求2所述的基于选择性机制注意力机制的雨图去雨方法，其特征在于，所述小波注意力鉴别器基于选择性小波注意力编码器和残差块进行构架，每个选择性小波注意力编码器配置一个侧卷积层，各侧卷积层的输出进行通道串联。


4.根据权利要求1所述的基于选择性机制注意力机制的雨图去雨方法，其特征在于，所述选择性小波注意力编码器，其对输入特征的处理方法包括：
将输入特征分解为一组小波系数，并对各小波系数进行独立残差处理；
利用输入特征和处理后的小波系数获取小波注意力图；
利用所述小波注意力图来分离输入特征中的雨特征和背景特征；
将输入特征中的雨特征进行下采样。


5.根据权利要求4所述的基于选择性机制注意力机制的雨图去雨方法，其特征在于，所述选择性小波注意力解码器，其对输入特征的处理方法包括：
对输入特征进行上采样，得到小波系数C；
对所述小波系数C和跳连过来的背景特征进行融合，得到融合后的小波系数Wg；
采用一组并行残差块对融合后的小波系数Wg进行独立的细化，并进行小波重建。


6.根据权利要求4所述的基于选择性机制注意力机制的雨图去雨方法，其特征在于，所述小波嵌入块采用1级haar小波。


7.一种基...

【专利技术属性】
技术研发人员：赫然，黄怀波，于艾靖，柴振华，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11