基于深度学习的图像多级去噪方法技术

本发明专利技术提出了一种图像多级去噪方法，主要解决现有技术存在图像细节丢失和图像降噪效果差的问题。其实现方案是：根据图像多级尺度特征有助于含噪图像恢复为干净图像的特点，在现有的图像采样单元上进行改进构建图像上、下采样模块；利用上、下采样模块构建菱形模块，以提取图像的多级特征；利用菱形模块构建V形子网，以提取图像的浅层特征；利用多个卷积层和V形子网进行不同的组合构成图像多级去噪网络；构建损失函数并对该多级去噪网络进行训练；将待去噪图像输入到中训练好的去噪网络进行处理，输出去噪后的图像。本发明专利技术避免了由于过度下采样带来的图像细节信息丢失，保持了图像的多级特征信息，提高了降噪效果，可用于图像的高斯白噪声去噪。

【技术实现步骤摘要】
基于深度学习的图像多级去噪方法
本专利技术属于图像处理
，更进一步涉及一种图像多级去噪方法，可用于图像的高斯白噪声去噪。
技术介绍
图像作为人们最常用的信息载体之一，包含着大量的信息，是人们获取信息的重要途径。而图像在获取、传输等过程中常常受到不同程度的噪声的干扰，噪声的存在会导致图像的质量下降，严重的噪声可能淹没图像本身的有用信息，为人们的观察和使用带来不便，同时还会影响图像后续诸如图像分割、目标检测等处理的精度。因此，对图像中噪声的去除是十分有必要的，在去噪的同时尽可能的保留图像的有用信息，是图像去噪的要点也是难点。随着深度学习技术的发展，国内外的学者已经提出了很多基于深度学习的图像去噪算法，并且相对于传统算法有了更大的改进，取得了较好的去噪效果。Mao等人在其发表的论文“ImageRestorationUsingVeryDeepConvolutionalEncoder-DecoderNetworkswithSymmetricSkipConnections”中提出了REDnet网络用于图像去噪，REDnet采用了对称的编码-解码结构，用多级图像下采样实现图像编码，用多级图像上采样实现图像解码，每隔固定的下采样层就采用一个跳跃连接层与对应的上采样层相连接。Zhang等人在其发表的论文“BeyondaGaussianDenoiser:ResidualLearningofDeepCNNforImageDenoising”中提出了DnCNN网络用于图像去噪，采用多个卷积、批量归一化和激活函数层堆叠的方式组成网络。这两种方法均在当时取得了图像去噪的良好效果，但它们也存在着一定的问题，REDnet通过对图像的多级采样改变图像的尺寸，即在图像的多级尺度下提取图像特征用于去噪效果的提升，但是图像的过度采样容易丢失图像的细节信息，反而不利于去噪后图像的后续处理；DnCNN在对图像的处理中没有发生图像尺寸的变化，即基于固定的图像尺度，通过加深网络层数来提升网络性能，但是一味的加深网络深度有可能导致网络难以训练甚至梯度消失的问题。
技术实现思路
本专利技术的目的在于克服上述已有技术的不足，将基于固定尺度的图像去噪和图像多级特征结合在一起，提出一种基于深度学习的图像多级去噪方法，以减少图像细节的丢失，提高图像的降噪效果。为实现上述目的，本专利技术的技术方案包括如下步骤：(1)构建上采样模块U和下采样模块D：对图像超分辨重建网络DBPN中上采样、下采样单元进行改进，即在上、下采样单元内部每个具有下采样功能的卷积层和每个具有上采样功能的反卷积层后均添加一个用于进一步提取图像特征的卷积层，构建出上采样模块U和下采样模块D；(2)构建菱形模块C：将一个上采样模块U与一个下采样模块D相串联构成上路；用一个卷积层构成中路；用一个下采样模块D与一个上采样模块U相串联构成下路；将所述上、中、下三路并联连接组成菱形模块C；(3)构建V形子网：将两个菱形模块C相串联构成一个正常路径；将一个图像下采样卷积层、两个卷积层和一个图像上采样卷积层进行串联连接构成一个低分辨率路径；将一个正常路径和一个低分辨率路径并联连接构成一个V形子网；(4)构建去噪网络MSDN：4a)将一个卷积层、两个残差结构和一个卷积层依次串联，组成噪声图像特征提取组件；4b)将M个V形子网进行密集连接组成多级特征提取组件，M最小取2；4c)将一个多通道的卷积层和一个单通道的卷积层相串联，组成干净图像重建组件；4d)由噪声图像特征提取组件、多级特征提取组件和干净图像重建组件依次串联后，用噪声图像特征提取组件的输入减去干净图像重建组件的输出，组成残差学习结构；4e)将噪声图像特征提取组件、多级特征提取组件和干净图像重建组件依次串联后，再并联残差学习结构，构成去噪网络MSDN；(5)构建损失函数：用去噪网络MSDN中前M-1个V形子网输出图像与不含噪声的原始干净图像的均方误差和第M个V形子网输出图像与不含噪声的原始干净图像的平均绝对误差的均值，构建该去噪网络的损失函数Loss，并将每个V形子网的输出接入到该损失函数；(6)对原始干净图像添加高斯噪声得到训练图像，将该训练图像输入到去噪网络MSDN中对其进行训练直到损失函数收敛，得到训练好的MSDN网络；(7)将待去噪图像输入到(6)中训练好的MSDN网络进行图像去噪处理，输出去噪后的图像：(7a)噪声图像特征提取组件通过第一个卷积层将待去噪图像从单通道变为多通道，之后依次经过两个残差结构和一个卷积层对多通道待去噪图像进行特征提取，得到噪声图像特征提取组件的输出P1；(7b)多级特征提取组件对噪声图像特征提取组件的输出P1通过其M个V形子网的正常路径的菱形模块C对图像进行多级特征提取，同时通过M个V形子网的低分辨率路径对图像进行浅层特征提取，得到多级特征提取组件的输出P2；(7c)干净图像重建组件对多级特征提取组件的输出P2依次通过一个多通道卷积层和一个单通道卷积层后将P2由多通道图像重建为单通道图像，该单通道图像即为干净图像重建组件的输出P3；(7d)残差学习结构用待去噪图像减去干净图像重建组件的输出P3得到去噪网络MSDN的输出，即去噪后的图像。本专利技术与现有技术相比较，具有如下优点：第一，本专利技术对现有的图像上、下采样模块进行了改进，能够获得更好的图像上、下采样效果。第二，本专利技术提出了菱形模块用于图像多级特征提取，通过对图像多次上、下采样，结合了更多的上下文信息，能够对图像的多个分辨率下的特征进行提取。第三，本专利技术提出了V形子网，在对图像多级特征提取的同时进一步提取图像的浅层特征，避免了由于过度下采样带来的图像细节信息丢失，同时保持了图像的多级特征信息。第四，本专利技术将网络中每个V形子网的输出都接入了损失函数，通过权重控制不同子网输出占网络输出的比重，逐步优化网络可获得更加精准的网络输出结果。附图说明图1是本专利技术的实现流程图；图2是本专利技术中构建的上采样模块和下采样模块结构图；图3是本专利技术中构建的菱形模块结构图；图4是本专利技术中构建的V形子网结构图；图5是本专利技术中构建的去噪网络MSDN结构图；图6是本专利技术与其他五种现有算法在Set12测试集上的测试结果对比图；图7是本专利技术与其他五种现有算法在BSD68测试集上的测试结果对比图；图8是本专利技术与其他五种现有算法在Urban100测试集上的测试结果对比图。具体实施方式本实例根据多级图像去噪网络对图像有较好的特征提取性能的特点，通过菱形模块及V形子网对含噪声图像进行多级尺度变换，在多个尺度空间下进行特征提取，并对子网逐级优化，其具体实现方式是在现有的基于深度学习的图像超分辨重建网络DBPN中上采样、下采样单元的基础上进行改进，得到性能更好的上采样、下采样模块，利用上采样、下采样本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像多级去噪方法，其特征在于，包括如下：/n(1)构建上采样模块U和下采样模块D：/n对图像超分辨重建网络DBPN中上采样、下采样单元进行改进，即在上、下采样单元内部每个具有下采样功能的卷积层和每个具有上采样功能的反卷积层后均添加一个用于进一步提取图像特征的卷积层，构建出上采样模块U和下采样模块D；/n(2)构建菱形模块C：/n将一个上采样模块U与一个下采样模块D相串联构成上路；/n用一个卷积层构成中路；/n用一个下采样模块D与一个上采样模块U相串联构成下路；/n将所述上、中、下三路并联连接组成菱形模块C；/n(3)构建V形子网：/n将两个菱形模块C相串联构成一个正常路径；/n将一个图像下采样卷积层、两个卷积层和一个图像上采样卷积层进行串联连接构成一个低分辨率路径；/n将一个正常路径和一个低分辨率路径并联连接构成一个V形子网；/n(4)构建去噪网络MSDN：/n4a)将一个卷积层、两个残差结构和一个卷积层依次串联，组成噪声图像特征提取组件；/n4b)将M个V形子网进行密集连接组成多级特征提取组件，M最小取2；/n4c)将一个多通道的卷积层和一个单通道的卷积层相串联，组成干净图像重建组件；/n4d)由噪声图像特征提取组件、多级特征提取组件和干净图像重建组件依次串联后，用噪声图像特征提取组件的输入减去干净图像重建组件的输出，组成残差学习结构；/n4e)将噪声图像特征提取组件、多级特征提取组件和干净图像重建组件依次串联后，再并联残差学习结构，构成去噪网络MSDN；/n(5)构建损失函数：/n用去噪网络MSDN中前M-1个V形子网输出图像与不含噪声的原始干净图像的均方误差和第M个V形子网输出图像与不含噪声的原始干净图像的平均绝对误差的均值，构建该去噪网络的损失函数Loss，并将每个V形子网的输出接入到该损失函数；/n(6)对原始干净图像添加高斯噪声得到训练图像，将该训练图像输入到去噪网络MSDN中对其进行训练直到损失函数收敛，得到训练好的MSDN网络；/n(7)将待去噪图像输入到(6)中训练好的MSDN网络进行图像去噪处理，输出去噪后的图像：/n(7a)噪声图像特征提取组件通过第一个卷积层将待去噪图像从单通道变为多通道，之后依次经过两个残差结构和一个卷积层对多通道待去噪图像进行特征提取，得到噪声图像特征提取组件的输出P1；/n(7b)多级特征提取组件对噪声图像特征提取组件的输出P1通过其M个V形子网的正常路径的菱形模块C对图像进行多级特征提取，同时通过M个V形子网的低分辨率路径对图像进行浅层特征提取，得到多级特征提取组件的输出P2；/n(7c)干净图像重建组件对多级特征提取组件的输出P2依次通过一个多通道卷积层和一个单通道卷积层后将P2由多通道图像重建为单通道图像，该单通道图像即为干净图像重建组件的输出P3；/n(7d)残差学习结构用待去噪图像减去干净图像重建组件的输出P3得到去噪网络MSDN的输出，即去噪后的图像。/n...

【技术特征摘要】
1.一种基于深度学习的图像多级去噪方法，其特征在于，包括如下：
(1)构建上采样模块U和下采样模块D：
对图像超分辨重建网络DBPN中上采样、下采样单元进行改进，即在上、下采样单元内部每个具有下采样功能的卷积层和每个具有上采样功能的反卷积层后均添加一个用于进一步提取图像特征的卷积层，构建出上采样模块U和下采样模块D；
(2)构建菱形模块C：
将一个上采样模块U与一个下采样模块D相串联构成上路；
用一个卷积层构成中路；
用一个下采样模块D与一个上采样模块U相串联构成下路；
将所述上、中、下三路并联连接组成菱形模块C；
(3)构建V形子网：
将两个菱形模块C相串联构成一个正常路径；
将一个图像下采样卷积层、两个卷积层和一个图像上采样卷积层进行串联连接构成一个低分辨率路径；
将一个正常路径和一个低分辨率路径并联连接构成一个V形子网；
(4)构建去噪网络MSDN：
4a)将一个卷积层、两个残差结构和一个卷积层依次串联，组成噪声图像特征提取组件；
4b)将M个V形子网进行密集连接组成多级特征提取组件，M最小取2；
4c)将一个多通道的卷积层和一个单通道的卷积层相串联，组成干净图像重建组件；
4d)由噪声图像特征提取组件、多级特征提取组件和干净图像重建组件依次串联后，用噪声图像特征提取组件的输入减去干净图像重建组件的输出，组成残差学习结构；
4e)将噪声图像特征提取组件、多级特征提取组件和干净图像重建组件依次串联后，再并联残差学习结构，构成去噪网络MSDN；
(5)构建损失函数：
用去噪网络MSDN中前M-1个V形子网输出图像与不含噪声的原始干净图像的均方误差和第M个V形子网输出图像与不含噪声的原始干净图像的平均绝对误差的均值，构建该去噪网络的损失函数Loss，并将每个V形子网的输出接入到该损失函数；
(6)对原始干净图像添加高斯噪声得到训练图像，将该训练图像输入到去噪网络MSDN中对其进行训练直到损失函数收敛，得到训练好的MSDN网络；
(7)将待去噪图像输入到(6)中训练好的MSDN网络进行图像去噪处理，输出去噪后的图像：
(7a)噪声图像特征提取组件通过第一个卷积层将待去噪图像从单通道变为多通道，之后依次经过两个残差结构和一个卷积层对多通道待去噪图像进行特征提取，得到噪声图像特征提取组件的输出P1；
(7b)多级特征提取组件对噪声图像特征提取组件的输出P1通过其M个V形子网的正常路径的菱形模块C对图像进行多级特征提取，同时通过M个V形子网的低分辨率路径对图像进行浅层特征提取，得到多级特征提取组件的输出P2；
(7c)干净图像重建组件对多级特征提取组件的输出P2依次通过一...

【专利技术属性】
技术研发人员：张静，桑柳，万泽康，邵旻昊，李云松，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61