基于改进KPN网络图片去雨方法、系统及存储介质技术方案

本发明专利技术提供一种基于改进KPN网络图片去雨方法、系统及存储介质，方法包括以下步骤：将预处理后的图片输入至特征提取网络层中，获取特征提取后的输出图；将特征提取后的输出图输入至引入空间注意力机制的普通卷积网络层中，获取预测核；将获取的预测核输入至不同尺寸卷积网络层中，获取不同感受野特征的预测图；将获取的各预测图的特征加权求和，并输入至深度可分离卷积层中，获取去雨增强图像。本发明专利技术通过基于改进KPN网络图片去雨方法，通过基于改进的KPN网络实现图像去雨处理，引入了深度可分离卷积，大大减少了卷积神经网络的参数量和计算复杂度；引入了空间注意力机制，提升了特征图关键区域的特征表达，有效提升了图像增强的效果。效果。效果。

【技术实现步骤摘要】
基于改进KPN网络图片去雨方法、系统及存储介质


[0001]本专利技术涉及数据处理领域，尤其涉及一种基于改进KPN网络图片去雨方法、系统及存储介质。

技术介绍

[0002]数字图像在我们的生产生活中无处不在。由于成像时的噪声破坏、相机抖动、物体运动、分辨率限制、雾霾、雨条纹或它们的组合等多种因素，易造成图像退化。图像退化一般是不可逆的，只能借助于图像增强的算法来处理。其中，由于雨滴落在摄像头上引起的图像退化，引起越来越多的关注。
[0003]去雨滴的图像增强主要思路有通过滤波或者其他操作在原输入图像中去除雨滴噪声，以及通过对抗生成网络生成无雨滴的图像等。图像去雨增强的根本思路都是获取从噪声图像到无噪声图像的映射关系，有传统的去噪增强方法和基于深度学习的去雨滴算法。传统去噪增强方法主要有空间域滤波和频率域滤波两类，可去除部分噪声，对于复杂的噪声难以去除，并且运算复杂、不能进行盲去噪、耗时较长，在终端部署运用时不具备实时性。随着深度学习的崛起，越来越多的神经网络模型运用到图像增强中。主要流行的有CNN、Resnet、u
‑
net、Hinet以及GAN系列，这些网络模型均具有网络架构上的创新突破。随着网络演变地越来越复杂，网络参数量也越来越大，制约了算法的实时性，且对终端硬件的要求比较高。部分基于深度学习的去雨方法很多都是基于去雨模式假设或者先验知识的，雨滴的数学模型表示为：
[0004]I＝(1
‑
M)
⊙
B+R
ꢀꢀ
公式(1)/>[0005]其中，I表示有雨滴影响的退化图像，M表示二进制mask(mask为1表示该区域像素是雨滴影响区域，否则表示该区域像素无雨滴影响)，B表示图像背景，R则是雨滴带来的效果，代表背景信息和被环境反射穿透雨滴的光线的复杂混合物。这时候去雨网络需要大量的细调优化过程，非常耗时的同时无法覆盖真实降雨场景的各种情况。与雨水模型无关的图像增强算法，能很好地解决这个问题。其中，KPN算法吸收了优秀去噪算法的思路，算法当中没有对图像中雨水如何产生进行建模假设，其网络结构集成了u
‑
net和核预测，通过u
‑
net网络预测到一个逐像素滤波器核，使用这个滤波器核与输入的噪声图像卷积进行降噪，在图像去雨效率方面具有极大优势，在获得与去雨SOTA算法近似效果的同时，单张图像去雨能够保持在10ms以内，能够方便地部署在终端硬件上。
[0006]通常图像增强精度的评价指标有PSNR(Peak Signal to Noise Ratio)和SSIM(structural similarity index)。PSNR是一种评价图像的客观标准，计算公式：
[0007][0008]SSIM是一种衡量两幅图像相似度的指标。使用的两张图像中，一张为未经压缩的无失真图像，另一张为失真后的图像，其中值的范围在0～1之间，1为完全一致，0为完全不一致。假设两幅给定M*N的图像为X,Y，其中X的均值，标准差，及X与Y的协方差分别用ux,σx,
σxy表示，定义了亮度、对比度和结构的比较函数分别为：
[0009][0010][0011][0012]SSIM(X,Y)＝[l(X,Y)]α
[c(X,Y)]β
[s(X,Y)]γ
ꢀꢀ
公式(6)
[0013]Qing Guo等提出了采用RainMix数据增广方法的扩充真实场景数据，再训练KPN网络进行去雨，在图像去雨任务上(涉及去雨滴，主要去雨线)速度和有效性表现不错。Bin Zhang等提出AME
‑
KPN(attention mechanism enhanced kernel prediction networks)图像降噪方法，采用了几乎无成本的注意力模块来提炼特征图，进一步利用噪声图像的帧间和帧内冗余。其中，预测核通过自适应卷积运算粗略地在其相应位置恢复干净的像素，加权和求残差以补偿预测核。Talmaj等提出了multi
‑
KPN的图像降噪方法，multi
‑
KPN预测核不止一种大小，而是具有不同大小的内核。不同大小的内核有助于从图像中提取不同的信息，从而实现更好的重建，并且内核融合可确保保留提取的信息，同时保持计算效率。

技术实现思路

[0014]本专利技术的主要目的在于提供一种基于改进KPN网络图像去雨方法、装置及可读存储介质，旨在解决现有的基于KPN网络的图像去雨处理方法图像增强效果不佳，网络参数量过多，硬件损耗大，计算效率不高的技术问题。
[0015]第一方面，一种基于改进KPN网络图像去雨方法，所述改进KPN网络包括特征提取网络层、普通卷积网络层、不同尺度卷积网络层和深度可分离卷积网络层；
[0016]所述方法包括以下步骤：
[0017]将预处理后的图片输入至特征提取网络层中，获取特征提取后的输出图；
[0018]将特征提取后的输出图输入至引入空间注意力机制的普通卷积网络层中，获取预测核；
[0019]将获取的预测核输入至不同尺寸卷积网络层中，获取不同感受野特征的预测图；
[0020]将获取的各预测图的特征加权求和，并输入至深度可分离卷积层中，获取去雨增强图像。
[0021]一些实施例中，所述将预处理后的图片输入至改进的KPN网络模型的特征提取网络层中，获取特征提取网络层输出图的步骤包括：
[0022]所述特征提取网络层包括第一网络子层、第二网络子层、第三网络子层和第四网络子层，所述第一网络子层包括深度可分离卷积层，所述第二网络子层包括均值池化层和深度可分离卷积层，所述第三网络子层包括双三次插值上采样层、深度可分离卷积层和修正线性单元激活层，所述第四网络子层包括双三次插值上采样层；
[0023]通过第一网络子层的深度可分离卷积层对输入图进行卷积处理，获取卷积处理后的特征图；
[0024]通过所述第二网络子层的所述均值池化层对卷积处理后的特征图均值进行池化
处理、深度可分离卷积层进行卷积处理获取池化和卷积处理后的特征图；
[0025]通过所述第三网络子层的双三次插值上采样层对池化和卷积处理后的特征图进行插值上采样处理、深度可分离卷积层进行卷积处理和修正线性单元激活层进行修正激活处理，并与第二网络子层获取的池化和卷积处理后的特征图进行残差连接，获取特征提取层输出图。
[0026]一些实施例中，所述通过深度可分离卷积层对输入图进行卷积处理，获取卷积处理后的特征图的步骤包括：
[0027]通过深度可分离卷积层对输入图进行卷积处理，所述深度可分离卷积层包括深度卷积层和逐点卷积层；
[0028]通过深度卷积层对输入图进行单一通道卷积运算，获取卷积运算后的特征图；
[0029]通过逐点卷积对卷积运算后的特征图进行整合单个特征点位置上的所有通道信息完成特征提取，获取卷积处理后的特征图。
[0030]一些实施例中，所述第二网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进KPN网络图像去雨方法，其特征在于，所述改进KPN网络包括特征提取网络层、普通卷积网络层、不同尺度卷积网络层和深度可分离卷积网络层；所述基于改进KPN网络图像去雨方法包括以下步骤：将预处理后的图片输入至特征提取网络层中，获取特征提取后的输出图；将特征提取后的输出图输入至引入空间注意力机制的普通卷积网络层中，获取预测核；将获取的预测核输入至不同尺寸卷积网络层中，获取不同感受野特征的预测图；将获取的各预测图的特征加权求和，并输入至深度可分离卷积层中，获取去雨增强图像。2.如权利要求1所述的改进KPN网络图像去雨方法，其特征在于，所述将预处理后的图片输入至改进的KPN网络模型的特征提取网络层中，获取特征提取网络层输出图的步骤包括：所述特征提取网络层包括第一网络子层、第二网络子层、第三网络子层和第四网络子层，所述第一网络子层包括深度可分离卷积层，所述第二网络子层包括均值池化层和深度可分离卷积层，所述第三网络子层包括双三次插值上采样层、深度可分离卷积层和修正线性单元激活层，所述第四网络子层包括双三次插值上采样层；通过第一网络子层的深度可分离卷积层对输入图进行卷积处理，获取卷积处理后的特征图；通过所述第二网络子层的所述均值池化层对卷积处理后的特征图均值进行池化处理、深度可分离卷积层进行卷积处理获取池化和卷积处理后的特征图；通过所述第三网络子层的双三次插值上采样层对池化和卷积处理后的特征图进行插值上采样处理、深度可分离卷积层进行卷积处理和修正线性单元激活层进行修正激活处理，并与第二网络子层获取的池化和卷积处理后的特征图进行通信连接，获取特征提取层输出图。3.如权利要求2所述的改进KPN网络图像去雨方法，其特征在于，所述通过深度可分离卷积层对输入图进行卷积处理，获取卷积处理后的特征图的步骤包括：通过深度可分离卷积层对输入图进行卷积处理，所述深度可分离卷积层包括深度卷积层和逐点卷积层；通过深度卷积层对输入图进行单一通道卷积运算，获取卷积运算后的特征图；通过逐点卷积对卷积运算后的特征图进行整合单个特征点位置上的所有通道信息完成特征提取，获取卷积处理后的特征图。4.如权利要求2所述的基于改进KPN网络图像去雨方法，其特征在于，所述第二网络子层和所述第三网络子层数量为多个，所述通过所述第三网络子层的双三次插值上采样层对池化和卷积处理后的特征图进行插值上采样处理、深度可分离卷积层进行卷积处理和修正线性单元激活层进行修正激活处理，并与第二网络子层获取的池化和卷积处理后的特征图进行残差连接，获取特征提取层输出图的步骤包括：通过所述第三网络子层的双三次插值上采样层对池化和卷积处理后的特征图进行插值...

【专利技术属性】
技术研发人员：董倩妍，杨颖，占涛，张澳，孙招宾，
申请(专利权)人：岚图汽车科技有限公司，
类型：发明
国别省市：