一种基于非对称结构网络的图像去噪方法技术

本发明专利技术公开了一种基于非对称结构网络的图像去噪方法，属于图像处理、计算机视觉等领域，主要包括四个步骤：1)收集和处理数据集；2)构建非对称结构的图像去噪网络；3)选择损失函数和训练网络；4)测试新数据。对于方法中核心的去噪网络，本发明专利技术采用了一种新颖的非对称结构，它主要包含一个基于Swin Transformer的编码器和一个基于残差卷积的解码器，这种设计可以在保障去噪性能的同时极大降低模型计算代价，与此同时，本发明专利技术还使用RBF核函数改进了Swin Transformer的自注意力机制，进一步提升了模型的去噪性能。了模型的去噪性能。了模型的去噪性能。

【技术实现步骤摘要】
一种基于非对称结构网络的图像去噪方法


[0001]本专利技术属于图像处理，计算机视觉等领域。具体涉及一种基于非对称结构网络的图像去噪方法。

技术介绍

[0002]随着数字图像设备的普及，人们对高质量图像的需求日益增加。在实际的生产和生活中，由于受到操作水平、光照条件、物体运动等各类因素的影响，经常导致设备的成像包含各式各样的噪声。这些噪声极大影响图像在实际生产生活中的应用价值，因此如何利用含噪声的图像恢复出高质量的图像具有一定的研究意义和实际应用前景。
[0003]过去几十年，涌现了大量基于图像先验的去噪方法，例如基于自相似性的BM3D。这类方法在合成噪声图像上展现出了优越的性能，然而在处理真实噪声图像时的表现却不如人意，其次这类方法本身具有较高的复杂度，限制了其在实际场景中的应用。
[0004]随着深度神经网络的快速发展，基于深度神经网络的图像去噪方法开始成为主流。相比于传统的去噪方法，基于深度神经网络的去噪方法可以免除手工设计特征的过程，提高了去噪方法的自适应性；其次深度神经网络可以有效的组织起更大容量的模型，进而可以更好的近似复杂噪声分布。这类去噪方法最早可以追述到2008年提出的去噪自编码器(DAE)，DAE使用了一个简单的三层全连接网络，整体结构可以分解成一个编码器和一个解码器，其中编码器对输入图像进行编码压缩，丢弃冗余的噪声信息，然后通过解码器恢复出干净的原始图像，这种结构被后续的许多工作所沿用，例如HiNet，Uformer等。目前构建编码器和解码器的核心组件主要包括两类基础模块：卷积模块和Transformer模块。
[0005]对比这两种模块，卷积在结构上引入了局部性和参数共享的先验，这使得基于纯卷积的去噪网络计算上十分高效；而对于Transformer模块，其核心的自注意力机制丢弃了局部性和参数共享的限制，尽可能的最小化先验信息，因而Transformer类的去噪方法具有更大的模型容量和更好的去噪性能，但相较于卷积，Transformer也需要承受较高的计算代价。
[0006]本专利技术提出的去噪方法主要结合卷积模块和Transformer各自的优势，设计了一种非对称结构的图像去噪网络。这种非对称结构的网络不仅能够保证良好的去噪性能，同时还可以极大的降低去噪网络的计算复杂度。
[0007]参考文献
[0008]1.Liu Z,Lin Y,Cao Y,et al.Swin Transformer:Hierarchical Vision Transformer using Shifted Windows[C].IEEE International Conference on Computer Vision.2021:10012
‑
10022.
[0009]2.He K,Zhang X,Ren S,et al.Deep Residual Learning for Image Recognition[C].IEEE Conference on Computer Vision and Pattern Recognition.2016:770
‑
778.

技术实现思路

[0010]本专利技术的目的在于提供一种计算高效且性能优越的面向真实图像噪声的去噪方法。目前基于深度神经网络的去噪方法主要聚焦在提升去噪性能或降低模型复杂度其中一个方面，这导致去噪性能强的网络常常会伴随着高昂的计算代价，而计算高效的去噪网络又会牺牲一定的去噪性能。针对这一问题，本专利技术设计了一种非对称结构的去噪网络，它可以很好的平衡两者的关系，在保证去噪性能的同时，可以极大的降低去噪网络的计算复杂度。
[0011]具体创新点：本方法首先设计了一种非对称结构的编解码网络用于图像去噪。这种非对称结构的图像去噪网络使用了一个基于大容量的Swin Transformer的编码器和一个计算高效的残差卷积解码器，这使得该去噪网络可以同时兼顾去噪性能和计算效率；其次本方法还改进了编码器中Swin Transformer的自注意力机制，新的RBF注意力机制可以进一步优化对视觉数据的处理能力，进而提升整个网络的去噪性能。
[0012]本专利技术的具体方法步骤为：
[0013]S1.收集含有真实噪声的图像以及对应的无噪图像，并对收集到的数据进行预处理，然后将其划分成训练集和测试集；
[0014]S2.构建非对称结构的图像去噪网络。该网络采用编解码器的结构，其中编码器主要由大容量的Swin Transformer模块[1]进行构建，而解码器主要由计算高效的残差卷积[2]组成。该网络具体包含五个部分，依次是：输入投影层P
in
，编码器E，瓶颈层B，解码器D，输出投影层P
out
。其中a)输入投影层P
in
由一个卷积核大小为3
×
3的卷积层和一个LeakyReLU激活层构成；b)编码器E由四个连续的编码子块{E1,E2,E3,E4}组成，每一个编码子块E
i
包含一个特征转换模块和一个降采样模块；c)瓶颈层B包含一个特征转换模块；d)解码器D由四个串联解码子块{D4,D3,D2,D1}组成，每一个解码子块D
i
包含一个上采样模块和一个特征转换模块；e)输出投影层P
out
由一个卷积核大小为3
×
3的卷积层构成。这五个部分以串联的形式组织在一起，且每一个编码子块E
i
与同等级的解码子块D
i
有一个跳跃链接用于信息的传递；
[0015]S3.构建损失函数，然后利用训练集优化图像去噪网络，在每轮训练结束后计算该网络在测试集上的PSNR值，最终将PSNR最高的参数保存下来，用于后续推理测试；
[0016]S4.测试新数据，将新的图像输入训练好的图像去噪网络进行推理，网络输出经过后处理得到去噪图像。
[0017]上述方法中，步骤S1所述的预处理是对收集到的图像对进行裁切，将高分辨率的图像等间距的切分成多张尺寸为256
×
256的图像切片，然后将切分后的图像数值范围从[0,255]转换到[
‑
1,+1]，转换规则如下：
[0018][0019]其中T
in
为转换前图像数值，T
out
为转换后的图像数值。
[0020]上述方法中，步骤S2中b)所述的特征转换模块为一个使用RBF注意力机制的Swin Transformer模块，该模块包含一个不使用偏移窗口的Transformer和一个使用偏移窗口的Transformer，其中每个窗口的大小设为8
×
8；其次b)中的降采样模块是一个步长为2，卷积核大小为4
×
4的卷积层。
[0021]上述方法中，步骤S2中c)所述的特征转换模块为一个全局的Transformer模块，具
体操作是将输入的特征沿空间维度展平，然后使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非对称结构网络的图像去噪方法，其特征在于，包括以下步骤：S1.收集含有真实噪声的图像以及对应的无噪图像，并对收集到的数据进行预处理，然后将其划分成训练集和测试集；S2.构建非对称结构的图像去噪网络。该网络采用编解码器的结构，其中编码器主要由大容量的Swin Transformer模块[1]进行构建，而解码器主要由计算高效的残差卷积组成。该网络具体包含五个部分，依次是：输入投影层P
in
，编码器E，瓶颈层B，解码器D，输出投影层P
out
。其中a)输入投影层P
in
由一个卷积核大小为3
×
3的卷积层和一个LeakyReLU激活层构成；b)编码器E由四个连续的编码子块{E1,E2,E3,E4}组成，每一个编码子块E
i
包含一个特征转换模块和一个降采样模块；c)瓶颈层B包含一个特征转换模块；d)解码器D由四个串联解码子块{D4,D3,D2,D1}组成，每一个解码子块D
i
包含一个上采样模块和一个特征转换模块；e)输出投影层P
out
由一个卷积核大小为3
×
3的卷积层构成。这五个部分以串联的形式组织在一起，且每一个编码子块E
i
与同等级的解码子块D
i
有一个跳跃链接用于信息的传递；S3.构建损失函数，然后利用训练集优化图像去噪网络，在每轮训练结束后计算该网络在测试集上的PSNR值，最终将PSNR最高的参数保存下来，用于后续推理测试；S4.测试新数据，将新的图像输入训练好的图像去噪网络进行推理，网络输出经过后处理得到去噪图像。2.如权利要求1所述的方法，其特征在于：步骤S1中所述的预处理是对收集到的图像对进行裁切，将高分辨率的图像等间距的切分成多张尺寸为256
×
256的图像切片，然后将切片后的图像数值范围从[0,255]转换到[
‑
1,+1]，转换规则如下：其中T
in
为转换前的图像数值，T
out
为转换后的图像数值。3.如权利要求1所述的方法，其特征在于：步骤S2中b)所述的特征转换模块为一个使用RBF注意...

【专利技术属性】
技术研发人员：曹刚，赵墨，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：