一种图像雨痕去除方法、系统及存储介质技术方案

本发明专利技术提出一种图像雨痕去除方法、系统及存储介质，涉及图像处理的技术领域，首先获取有雨痕图像和无雨痕图像并构成数据图像集，将数据集输入到构建的RCR

【技术实现步骤摘要】
一种图像雨痕去除方法、系统及存储介质


[0001]本专利技术涉及图像处理的
，更具体地，涉及一种图像雨痕去除方法、系统及存储介质。

技术介绍

[0002]在现实生活中，因为雨雪会对道路上的路况造成一定程度的遮挡，驾驶车辆行驶在下大雨或大雪的恶劣天气下是非常危险的；不仅如此，在重要位置设置的摄像头也会因为雨痕的遮挡，导致无法提供给工作人员足够的信息来对画面中人物的身份进行确定；人们在出去旅游的时候会拍摄很多美景的照片，但是有的照片会因为天气状况等原因无法得到清晰的效果。以上所述的情况都需要对图像进行后期的处理，因此，对图像雨痕去除的研究是非常有现实意义的。
[0003]对图片或者视频进行去雨的研究，一直以来都是计算机视觉和图像处理领域内的一个重要课题。现有技术中提出了一种基于密集连接深度残差网络的图像去雨方法及系统，将获取的待处理图像输入到预先训练好的基于密集连接的深度残差网络中，输出雨痕图像；将雨痕图像与待处理图像进行作差处理，得到去除雨痕后的图像。但是在该方案中，没有考虑到在实际的雨痕图像中，小型雨痕向量居多，因此，不能较有针对性地提取雨痕的浅层特征和深层特征，导致去雨效果欠佳。

技术实现思路

[0004]为解决当前图像去雨方法无法针对性地提取小型雨痕特征分量，导致去雨效果不佳的问题，本专利技术提出一种图像雨痕去除方法、系统及存储介质，利用去雨模型提取出雨痕的浅层特征分量和不同尺度下的高维度特征分量，模型精度高，且网络模型架构简单、参数量少。
[0005]为了达到上述技术效果，本专利技术的技术方案如下：
[0006]一种图像雨痕去除方法，包括：
[0007]S1.获取有雨痕图像和无雨痕图像，构成数据图像集；
[0008]S2.构建RCR
‑
Net去雨模型，RCR
‑
Net去雨模型包括编码器、解码器和Refine网络，所述编码器采用跳跃连接方式，提取雨痕的浅层特征并传递到解码器，所述解码器提取深层雨痕特征，Refine网络用于获得去雨图片；
[0009]S3.利用数据图像集训练RCR
‑
Net去雨模型，得到训练好的RCR
‑
Net去雨模型；
[0010]S4.利用训练好的RCR
‑
Net去雨模型对待预测有雨图像进行处理，输出去雨预测图片。
[0011]在本技术方案中，利用构建的RCR
‑
Net去雨模型提取不同维度的雨痕特征分量，不同尺寸、大小的雨痕特征被充分捕捉，使得到的去雨预测图片保留更多细节。
[0012]优选地，步骤1之后对数据集图像进行预处理操作，所述的预处理操作包括：将图像调整为统一尺寸、将图像读取为RGB三通道图、对图像进行数据增强。
[0013]优选地，RCR
‑
Net去雨模型中的编码器、解码器和Refine网络依次连接，其中，编码器和解码器均为多层结构，编码器与解码器的层与层之间相互连接，形成多层U型网络结构，有利于最大程度保留有雨图像的所有雨痕信息。
[0014]优选地，编码器包括从上到下依次连接的SFC模块和4个CARB模块，解码器包括从下到上依次连接的LRASPP模块和4个BASE模块；
[0015]将数据集图像输入至编码器后，SFC模块提取雨痕的浅层特征分量，各层的CARB模块对雨痕特征分量进行编码和平均池化，得到高维度的编码信息；利用LRASPP模块处理编码信息，得到不同尺度下的高维度特征分量，将不同尺度下的高维度特征分量传输至解码器中，BASE模块对特征分量进行解码，解码得到的特征分量残差图作为原始尺度下的特征图层的基础特征分量，即原始尺度下的特征图。
[0016]优选地，所述CABR模块采用残差结构，包括依次连接的空洞卷积模块、1x1卷积核和自适应通道注意力SE模块，空洞卷积模块包含两层空洞卷积，采用3x3大小的卷积核，步长为2；
[0017]由编码器上一层提取得到的特征分量F
in
∈R
Cin
·
H
·
W
进入CABR模块后，在空洞卷积模块中经过两层空洞卷积得到中间变量F1∈R
Cout
·
H
·
W
，同时经过1x1卷积核特征分量维度后和自身的残差卷积特征分量相加获得另一中间变量F2∈R
Cout
·
H
·
W
，再将F1和F2拼接后经过卷积和自适应通道注意力SE模块，得到CABR模块的输出特征分量F
out
∈R
Cout
·
H
·
W
；
[0018]在此，使RCR
‑
Net去雨模型具有直接提取雨痕叠加分量的能力，其中，编码器部分用于捕捉图像的上下文信息，解码器部分对图像中雨痕精准定位。
[0019]所述BASE模块包含依次连接的两层卷积层和一个空间注意力模块；由编码器或解码器上一层提取得到的特征分量进入BASE模块后，计算特征分量在H，W上的均值和最大值，合并得到一个通道数为2的卷积层，然后通过一个卷积，得到一个通道数为1的空间注意力模型，与输入特征分量相乘，完成空间上的自注意力机制，有利于引导解码器关注雨痕特征分量的叠加，充分提取有雨图片中由不同长短、不同大小、不同形状的雨痕分量叠加而成的雨痕特征。
[0020]优选地，Refine网络包括依次连接的特征修复模块、多尺度残差卷积模块、雨痕去除模块和DGF模块，其中，特征修复模块将0.5x有雨图像和解码器的中间量，即第二层BASE模块的输出量混合解码，对特征细节补充修正，补偿解码过程中的细小雨痕分量的细节丢失，得到特征细节图，利用多尺度残差卷积模块将补充修正后的特征细节图与解码器输出的原始尺度下的特征图进行融合，得到与待处理的有雨图像通道数一致的最终特征图；利用雨痕去除模块对元素图像和最终特征图进行处理，获得去雨图片，通过雨痕去除模块获得输出图片的计算公式为：
[0021]B(x)＝I(x)
‑
R(x)
[0022]其中，I(x)为有雨图像，B(x)为去雨图片，R(x)为最终特征图；
[0023]DGF模块对雨痕去除模块得到的去雨图片进行深度引导滤波，充分考虑到模型的适用性，将输出的去雨图片还原为原始分辨率。
[0024]优选地，将数据集划分为训练集、验证集和测试集，利用训练集中的RGB三通道图对RCR
‑
Net去雨模型进行训练，然后利用验证集中的RGB三通道图对训练过程中的RCR
‑
Net去雨模型进行评估，并利用测试集中的RGB三通道图测试RCR
‑
Net去雨模型的有效性，得出
训练好的RCR
‑
Net去雨模型。
[0025]优选地，训练RCR
‑
Net去雨模型时使用的损失函数公式L...

【技术保护点】

【技术特征摘要】
1.一种图像雨痕去除方法，其特征在于，包括以下步骤：S1.获取有雨痕图像和无雨痕图像，构成数据图像集；S2.构建RCR
‑
Net去雨模型，RCR
‑
Net去雨模型包括编码器、解码器和Refine网络，所述编码器采用跳跃连接方式，提取雨痕的浅层特征并传递到解码器，所述解码器提取深层雨痕特征，Refine网络用于获得去雨图片；S3.利用数据图像集训练RCR
‑
Net去雨模型，得到训练好的RCR
‑
Net去雨模型；S4.利用训练好的RCR
‑
Net去雨模型对待预测有雨图像进行处理，输出去雨预测图片。2.根据权利要求1所述的图像雨痕去除方法，其特征在于，步骤1之后对数据集图像进行预处理操作，所述的预处理操作包括：将图像调整为统一尺寸、将图像读取为RGB三通道图、对图像进行数据增强。3.根据权利要求2所述的图像雨痕去除方法，其特征在于，RCR
‑
Net去雨模型中的编码器、解码器和Refine网络依次连接，其中，编码器和解码器均为多层结构，编码器与解码器的层与层之间相互连接，形成多层U型网络结构。4.根据权利要求3所述的图像雨痕去除方法，其特征在于，编码器包括从上到下依次连接的SFC模块和4个CARB模块，解码器包括从下到上依次连接的LRASPP模块和4个BASE模块；将数据集图像输入至编码器后，SFC模块提取雨痕的浅层特征分量，各层的CARB模块对雨痕特征分量进行编码和平均池化，得到高维度的编码信息；利用LRASPP模块处理编码信息，得到不同尺度下的高维度特征分量，将不同尺度下的高维度特征分量传输至解码器中，BASE模块对特征分量进行解码，解码得到的特征分量残差图作为原始尺度下的特征图层的基础特征分量，即原始尺度下的特征图。5.根据权利要求4所述的图像雨痕去除方法，其特征在于，所述CABR模块采用残差结构，包括依次连接的空洞卷积模块、1x1卷积核和自适应通道注意力SE模块，空洞卷积模块包含两层空洞卷积，采用3x3大小的卷积核，步长为2；由编码器上一层提取得到的特征分量F
in
∈R
Cin
·
H
·
W
进入CABR模块后，在空洞卷积模块中经过两层空洞卷积得到中间变量F1∈R
Cout
·
H
·
W
，同时经过1x1卷积核特征分量维度后和自身的残差卷积特征分量相加获得另一中间变量F2∈R
Cout
·
H
·
W
，再将F1和F2拼接后经过卷积和自适应通道注意力SE模块，得到CABR模块的输出特征分量F
out
∈R
Cout
·
H
·
W
；所述BASE模块包含依次连接的两层卷积层和一个空间注意力模块；由编码器或解码器上一层提取得到的特征分量进入BASE模块后，计算特征分量在H，W上的均值和最大值，合并得到一个通道数为2的卷积层，然后通过一个卷积，得到一个通道数为1的空间注意力模型，与输入特征分量相乘，完成空间上的自注意力机制。6.根据权利要求5所述的图像雨痕去除方法，其特征在于，Refin...

【专利技术属性】
技术研发人员：骆丹亭，蒋林轩，
申请(专利权)人：河源市湾区数字经济技术创新中心，
类型：发明
国别省市：