基于Transformer的图像联合去马赛克和去噪方法技术

本发明专利技术适用于图像处理技术领域，提供了基于Transformer的图像联合去马赛克和去噪方法，包括以下步骤：构建数据集，对数据集进行预处理；采用Transformer搭建网络模型；训练构建后的模型；对训练后的模型进行测试评估，该模型能从被噪声污染的马赛克图像中恢复出干净无噪声的彩色RGB图像，并且还解决了现有非盲(non

【技术实现步骤摘要】
基于Transformer的图像联合去马赛克和去噪方法


[0001]本专利技术属于图像处理
，尤其涉及基于Transformer的图像联合去马赛克和去噪方法。

技术介绍

[0002]随着显示设备显示质量的不断提高，人们对捕捉高分辨率图像的兴趣日益增长。智能手机等移动设备在提高成像质量方面取得了很大的进步，但由于相机传感器的固有设计，其捕捉更高质量图像的能力受到限制。这些限制主要来自两个方面：首先，大多数相机的传感器只在每个空间位置侦测有限波长范围(红或绿或蓝)的电磁辐射。这是通过在相机传感器前面放置一个颜色滤波器阵列(Color filter array，简称CFA)来实现的，最常见的CFA类型为Bayer格式，如图3所示。Bayer格式的图像通常在每个像素位置上只包括一种颜色信息(红或绿或蓝)，并且绿色(G)像素的数量为蓝色(B)和红色(R)之和，因此也叫做RGGB格式，这样的图像也称为马赛克(mosaic)图像。通常相机传感器得到的马赛克图像需要经过去马赛克(Demosaicing)步骤的处理来从不完整的颜色采样中恢复出全彩色RGB信息，这是大多数数码相机内部图像处理流程的第一步。其次，相机内部信号处理的过程中不可避免地会产生噪声(noise)，如图4所示。图像中的噪声会对图像细节产生很大的干扰，并且会对图像处理的后续步骤产生影响，因此在对图像进行后续处理之前需要先进行去噪(Denoising)处理。图像去噪的目标是从有噪声的图像中恢复出干净无噪声的图像。此外，由于马赛克数据通常是不完整的颜色采样，丢失了许多颜色信息，并且图片中的噪声往往十分复杂、难以建模，因此去马赛克和去噪这两个任务中的任何一个都是十分复杂的问题，联合处理这两个任务更是十分具有挑战性。然而在实际应用中，由于马赛克图像也经常受到噪声的破坏，因此去马赛克和去噪通常需要同时处理。
[0003]一般同时处理去马赛克和去噪问题的方式是顺序处理，即先处理其中一个，然后处理另一个。但这样顺序的处理方式会导致误差的积累，例如先去马赛克后去噪时，经过去马赛克处理之后的图像中的噪声分布会变得更复杂，从而使噪声变得更加难以去除。随着深度学习的流行，也有很多基于深度学习的图像联合去马赛克和去噪方法被提出来，这些模型取得了比传统顺序处理方式更好的效果，但这些模型通常都是非盲的模型，也就是说这些模型在训练的时候需要在模型的输入中附加一张确定范围的噪声图(noise level map)，在实际应用时也需要预先从要处理的数据中估计出这一噪声图。这些基于深度学习的非盲模型由于依赖手动设置的输入噪声图，因此在最终的处理效果上受限于噪声估计的准确性，而准确估计出马赛克图像中的噪声是十分困难的。为此我们提出基于Transformer的图像联合去马赛克和去噪方法。

技术实现思路

[0004]本专利技术的目的在于提供基于Transformer的图像联合去马赛克和去噪方法，旨在解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：
[0006]基于Transformer的图像联合去马赛克和去噪方法，包括以下步骤：
[0007]步骤S1、构建数据集，对数据集进行预处理；所述数据集包括训练集、验证集和测试集；
[0008]步骤S2、搭建网络模型；所述网络模型包括编码器、Bottleneck和解码器，所述编码器和解码器为对称布置，所述网络模型为U型网络；
[0009]步骤S3、训练构建后的模型：采用Charbonnier loss和Adam优化器对模型进行训练，直到损失曲线不再下降或趋于平滑时停止训练；在训练的过程中采用验证集对模型的效果进行评估，保存评估结果最好的模型；
[0010]步骤S4、对训练后的模型进行测试评估：在模型训练完成之后，对训练后的模型在测试集上进行测试，判断模型的效果是否达到预期；测试时手动设置测试集中添加的高斯噪声的方差，以测试模型在各个噪声水平上的表现。
[0011]进一步的，所述训练集采用DIV2K和Flickr2K；训练集的一部分作为验证集；测试集采用Urban100、McMaster、Kodak以及MIT moire数据集。
[0012]进一步的，对所述训练集、验证集和测试集进行预处理的具体操作为：
[0013]首先添加指定方差的高斯噪声，然后转换为Bayer格式的马赛克图像，未经过预处理的原始数据均作为参考图像，供后续的测试评估阶段使用。
[0014]进一步的，所述步骤S2中，首先将训练数据添加指定方差的高斯噪声，然后按Bayer格式提取为四分之一分辨率的四通道RGGB图像，然后将图像直接输入到网络模型中进行训练；
[0015]输入图像在网络模型中的处理过程为：编码器将输入图像建模为高维特征，然后将其传递给Bottleneck继续处理，Bottleneck处理之后将其传递给解码器进行图像细节的恢复，解码器的处理结果经过一个1x1卷积和一个Upsampling的处理后得到最终的无噪声的全彩色RGB结果图像。
[0016]进一步的，采用可变形卷积自适应提取特征，然后将特征传递到所述编码器和解码器中，所述编码器、Bottleneck和解码器采用Transformer Block搭建而成，所述编码器、Bottleneck和解码器中的Transformer Block数目均设置为2，所述Transformer Block包括MDTA和GDFN。
[0017]进一步的，所述MDTA作为Transformer Block中的注意力计算模块，所述MDTA中：MDTA的输入通过三个由1x1卷积和depth
‑
wise卷积组成的分支的处理，得到的三个输出作为Q、K和V，然后Q和K分别经过reshape操作进行一个矩阵乘法得到一张通道注意力图，然后将注意力图和同样经过reshape操作的V进行矩阵乘法并通过一个1x1卷积进行降维操作，得到MDTA模块的最终输出。
[0018]进一步的，所述GDFN作为Feed
‑
forward network，所述GDFN中：两个由1x1卷积和depth
‑
wise卷积组成的分支对输入数据进行初步处理，其中一个分支的输出经过GELU非线性激活后与另一个分支的输出进行按元素乘操作，相乘的结果经过一个1x1卷积将通道数变换为原来的输入通道数，得到GDFN模块的最终输出；
[0019]所述GDFN和MDTA均采用从输入到输出的残差连接的方式得到最终的结果。
[0020]进一步的，所述步骤S3中，采用Charbonnier loss和Adam优化器对模型进行训练，
初始学习率为5e
‑4，然后按照cosine annealing的方式逐渐减小到1e
‑6，其余参数均为默认值；
[0021]采用的Charbonnier loss公式为：
[0022][0023]其中，表示模型输出的结果图像，X表示参考图像(ground<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Transformer的图像联合去马赛克和去噪方法，其特征在于，包括以下步骤：步骤S1、构建数据集，对数据集进行预处理；所述数据集包括训练集、验证集和测试集；步骤S2、搭建网络模型；所述网络模型包括编码器、Bottleneck和解码器，所述编码器和解码器为对称布置，所述网络模型为U型网络；步骤S3、训练构建后的模型：采用Charbonnier loss和Adam优化器对模型进行训练，直到损失曲线不再下降或趋于平滑时停止训练；在训练的过程中采用验证集对模型的效果进行评估，保存评估结果最好的模型；步骤S4、对训练后的模型进行测试评估：在模型训练完成之后，对训练后的模型在测试集上进行测试，判断模型的效果是否达到预期；测试时手动设置测试集中添加的高斯噪声的方差，以测试模型在各个噪声水平上的表现。2.根据权利要求1所述的基于Transformer的图像联合去马赛克和去噪方法，其特征在于，所述训练集采用DIV2K和Flickr2K；训练集的一部分作为验证集；测试集采用Urban100、McMaster、Kodak以及MIT moire数据集。3.根据权利要求1所述的基于Transformer的图像联合去马赛克和去噪方法，其特征在于，对所述训练集、验证集和测试集进行预处理的具体操作为：首先添加指定方差的高斯噪声，然后转换为Bayer格式的马赛克图像，未经过预处理的原始数据均作为参考图像，供后续的测试评估阶段使用。4.根据权利要求1所述的基于Transformer的图像联合去马赛克和去噪方法，其特征在于，所述步骤S2中，首先将训练数据添加指定方差的高斯噪声，然后按Bayer格式提取为四分之一分辨率的四通道RGGB图像，然后将图像直接输入到网络模型中进行训练；输入图像在网络模型中的处理过程为：编码器将输入图像建模为高维特征，然后将其传递给Bottleneck继续处理，Bottleneck处理之后将其传递给解码器进行图像细节的恢复，解码器的处理结果经过一个1x1卷积和一个Upsampling的处理后得到最终的无噪声的全彩色RGB结果图像。5.根据权利要求1所述的基于Transformer的图像联合去马赛克和去噪方法，其特征在于，采用可变形卷积自适应提取特征，然后将特征传递到所述编码器和解码器中，所述编码器、Bottleneck和解码器采用Transformer Block搭建而成，所述编码器、...

【专利技术属性】
技术研发人员：牛砚，赵冲，
申请(专利权)人：吉林大学，
类型：发明
国别省市：