【技术实现步骤摘要】
本专利技术涉及图像去噪的，尤其涉及一种增强门控transformer的图像去噪方法，实现高噪声图像的高质量重建。
技术介绍
1、实际光学图像在形成和传输过程中，由于各种干扰因素的存在，不可避免地会使图像受到各种类型噪声的污染，包括脉冲噪声、高斯噪声、泊松噪声等，从而导致所获得的图像中存在大量的噪声信息。因此，如何从含随机噪声的图像中获得高质量的重建图像是研究的重点问题。
2、传统的图像去噪方法利用先验图像信息来解决退化问题。然而，这些方法通常严重依赖于手动选择的特征，这一步骤非常耗时，并且在现实场景中的实际效用有限。此外，传统方法因难以捕捉高噪声图像中的高级特征和结构，其有效性在高噪声环境中受到限制。相比之下，基于深度学习的方法通过自动从数据中学习有效的特征表示，在图像去噪任务中表现出显著的性能。一些卷积算法在各种计算机视觉任务中取得了显著的成功，能够学习图像的分层表示，有效地捕获低级和高级特征。然而，卷积在图像去噪过程中忽略了局部-全局相关性的问题，导致有价值信息的丢失。近年来，最初用于自然语言处理任务(nlp)的transformer架构也成功地应用于计算机视觉任务，通过使用自注意力机制，transformer网络可以捕获图像中的全局和局部依赖关系，从而更好地恢复图像细节和结构，这为图像去噪任务带来了新的潜力。
3、transformer网络采用层级结构和多头注意力机制，可以同时学习不同尺度的特征表示，从而更好地恢复图像的细节和结构。此外，transformer网络还可以通过堆叠更多的层和头来增加网络
4、申请号为202310492058.1的专利技术专利公开了一种真实图像自监督去噪方法，首先，对于局部信息引入一个密集采样的斑块掩码卷积处理，基于真实噪声空间相关性的先验统计，将更多的相邻像素纳入考虑范围，使得网络有一个更密集的感受野，使网络能够恢复更详细的结构；对于全局信息引入一个扩展的transformer，可以更好地利用长距离的相互作用，能够分别充分地利用局部和远距离信息。上述专利技术可以在无需原始图像的情况下完成去噪过程，显著提升现有自监督真实图像去噪方法的质量，适用于低光照条件下的深海探测、近地探测等多种应用领域。但是，上述专利技术密集采样的斑块掩码卷积中大卷积核的使用使得模型难以训练或训练时间过长，并且transformer前馈网络中的空洞卷积增加了计算负担。
技术实现思路
1、针对现有高分辨率图像去噪的计算复杂度过高，一些细节信息被过度平滑的技术问题，本专利技术提出一种增强门控transformer的图像去噪方法，能够有效缓解计算复杂度，同时图像的边缘细节特征能够得到有效保留。
2、为了达到上述目的，本专利技术的技术方案是这样实现的：一种增强门控transformer的图像去噪方法，步骤如下：
3、步骤一、将数据集中的所有图像进行预处理，并生成原始-噪声图像对，作为训练集；
4、步骤二：以u型结构为主体架构，将transformer块与上下采样作为编码解码结构，通过跳层连接transformer块构成图像去噪模型；
5、步骤三：将训练集中的含噪图像输入图像去噪模型中进行学习训练，获得不同噪声水平的模型权重；
6、步骤四：将含噪图片输入训练好的图像去噪模型，利用对应的图像去噪模型的模型权重进行处理，获得去噪重建图像。
7、优选地，所述步骤一中预处理的方法为：对于合成噪声去噪任务，将数据集中的所有图像剪裁为大小为512×512的图像，重叠像素为96，直至图像被完全剪裁；再将图像旋转90°、180°或270°进行扩充，并添加高斯噪声生成原始-噪声图像对，作为训练集；对于真实噪声去噪任务，将数据集中的所有图像随机剪裁为大小为256×256的图像，再将图像旋转90°、180°或270°进行扩充，生成原始-噪声图像对，作为训练集。
8、优选地，所述图像去噪模型是由编码器、解码器和跳层连接组成的u型结构，图像去噪模型分为三部分：浅层特征提取、深层特征提取以及图像重建；首先，输入图像经过3×3卷积层扩展通道，提取浅层特征；然后，将transformer块与上采样、下采样结合形成编码解码器，通过跳层连接提取深度特征；最后，使用3×3卷积层将通道数恢复到原始数量，得到重构图像。
9、优选地，所述编码解码结构包括k＝4级，即包括4个编码块、4个解码块和一个底部模块，每个块都包含2个transformer块；每个编码块里transformer块后都紧接着一个步长为2的4×4卷积进行下采样，下采样将特征图的大小减小一半、通道数量增加一倍；每个解码块中transformer块前都使用卷积核为2×2的转置卷积进行上采样且步长为2，使特征映射的大小增加一倍同时通道数量减少一半。
10、优选地，每个transformer块都包含可变形卷积模块、增强多头自注意力模块以及具有门控策略的前馈网络，可变形卷积模块与增强多头自注意力模块、具有门控策略的前馈网络通过并行连接特征图相乘进行特征融合。
11、优选地，所述可变形卷积模块经过层归一化layernorm后，再分为3个阶段，第一阶段使用卷积核为3×3可变形卷积初始提取图像的纹理特征；第二阶段利用卷积核为3×3普通卷积进一步探索图像特征并捕获更深层次的信息；最后阶段使用与第一阶段相同的另一个卷积核为3×3可变形卷积，进一步提取图像的纹理特征；将层归一化layernorm前的输入特征与最后阶段处理的特征进行相加得到增强局部特征；每个阶段后都紧跟一个gelu激活函数。
12、优选地，所述增强多头自注意力模块将多头窗口自注意力模块与经过gelu激活的边缘增强卷积块通过层归一化layernorm、残差结构相结合，层归一化layernorm设置在多头窗口自注意力模块与边缘增强卷积块的前侧，多头窗口自注意力模块与边缘增强卷积块得到特征直接相加得到边缘增强的特征信息；所述边缘增强卷积块对输入的特征图执行卷积核为3×3的卷积操作获得特征映射，计算输入值与平均池化结果的绝对差值，并对绝对差值进行卷积核为3×3的卷积运算，得到边缘特征图；将输入的特征图和边缘特征图相加，经过gelu激活函数得到最终的输出。
13、优选地，所述具有门控策略的前馈网络首先通过层归一化layernorm、1×1的卷积，然后通过局部感知单元和gelu激活函数后与同时通过深度卷积的特征图进行门控选择，最后通过卷积核为1×1的卷积恢复原来的通道数。
14、优选地，局部感知单元的函数为：lpu(x)＝dwconv(x)+x；其中，x为输入特征，dwconv为深度卷本文档来自技高网...
【技术保护点】
1.一种增强门控Transformer的图像去噪方法，其特征在于，步骤如下：
2.根据权利要求1所述的增强门控Transformer的图像去噪方法，其特征在于，所述步骤一中预处理的方法为：对于合成噪声去噪任务，将数据集中的所有图像剪裁为大小为512×512的图像，重叠像素为96，直至图像被完全剪裁；再将图像旋转90°、180°或270°进行扩充，并添加高斯噪声生成原始-噪声图像对，作为训练集；对于真实噪声去噪任务，将数据集中的所有图像随机剪裁为大小为256×256的图像，再将图像旋转90°、180°或270°进行扩充，生成原始-噪声图像对，作为训练集。
3.根据权利要求1或2所述的增强门控Transformer的图像去噪方法，其特征在于，所述图像去噪模型是由编码器、解码器和跳层连接组成的U型结构，图像去噪模型分为三部分：浅层特征提取、深层特征提取以及图像重建；首先，输入图像经过3×3卷积层扩展通道，提取浅层特征；然后，将Transformer块与上采样、下采样结合形成编码解码器，通过跳层连接提取深度特征；最后，使用3×3卷积层将通道数恢复到原始数量，得到重
4.根据权利要求3所述的增强门控Transformer的图像去噪方法，其特征在于，所述编码解码结构包括K＝4级，即包括4个编码块、4个解码块和一个底部模块，每个块都包含2个Transformer块；每个编码块里Transformer块后都紧接着一个步长为2的4×4卷积进行下采样，下采样将特征图的大小减小一半、通道数量增加一倍；每个解码块中Transformer块前都使用卷积核为2×2的转置卷积进行上采样且步长为2，使特征映射的大小增加一倍同时通道数量减少一半。
5.根据权利要求4所述的增强门控Transformer的图像去噪方法，其特征在于，每个Transformer块都包含可变形卷积模块、增强多头自注意力模块以及具有门控策略的前馈网络，可变形卷积模块与增强多头自注意力模块、具有门控策略的前馈网络通过并行连接特征图相乘进行特征融合。
6.根据权利要求5所述的增强门控Transformer的图像去噪方法，其特征在于，所述可变形卷积模块经过层归一化LayerNorm后，再分为3个阶段，第一阶段使用卷积核为3×3可变形卷积初始提取图像的纹理特征；第二阶段利用卷积核为3×3普通卷积进一步探索图像特征并捕获更深层次的信息；最后阶段使用与第一阶段相同的另一个卷积核为3×3可变形卷积，进一步提取图像的纹理特征；将层归一化LayerNorm前的输入特征与最后阶段处理的特征进行相加得到增强局部特征；每个阶段后都紧跟一个GELU激活函数。
7.根据权利要求5所述的增强门控Transformer的图像去噪方法，其特征在于，所述增强多头自注意力模块将多头窗口自注意力模块与经过GELU激活的边缘增强卷积块通过层归一化LayerNorm、残差结构相结合，层归一化LayerNorm设置在多头窗口自注意力模块与边缘增强卷积块的前侧，多头窗口自注意力模块与边缘增强卷积块得到特征直接相加得到边缘增强的特征信息；所述边缘增强卷积块对输入的特征图执行卷积核为3×3的卷积操作获得特征映射，计算输入值与平均池化结果的绝对差值，并对绝对差值进行卷积核为3×3的卷积运算，得到边缘特征图；将输入的特征图和边缘特征图相加，经过GELU激活函数得到最终的输出。
8.根据权利要求5所述的增强门控Transformer的图像去噪方法，其特征在于，所述具有门控策略的前馈网络首先通过层归一化LayerNorm、1×1的卷积，然后通过局部感知单元和GELU激活函数后与同时通过深度卷积的特征图进行门控选择，最后通过卷积核为1×1的卷积恢复原来的通道数。
9.根据权利要求8所述的增强门控Transformer的图像去噪方法，其特征在于，局部感知单元的函数为：LPU(X)＝DWConv(X)+X；其中，X为输入特征，DWConv为深度卷积；
10.根据权利要求9所述的增强门控Transformer的图像去噪方法，其特征在于，对于合成噪声图像去噪，将训练集的图像分别添加各个噪声等级范围内的高斯噪声之后输入图像去噪模型分别进行学习训练，获得训练好的不同噪声等级的图像去噪模型；对于真实噪声图像去噪，将含噪图片直接输入图像去噪模型中进行学习训练，获得真实噪声图像去噪模型；
...【技术特征摘要】
1.一种增强门控transformer的图像去噪方法，其特征在于，步骤如下：
2.根据权利要求1所述的增强门控transformer的图像去噪方法，其特征在于，所述步骤一中预处理的方法为：对于合成噪声去噪任务，将数据集中的所有图像剪裁为大小为512×512的图像，重叠像素为96，直至图像被完全剪裁；再将图像旋转90°、180°或270°进行扩充，并添加高斯噪声生成原始-噪声图像对，作为训练集；对于真实噪声去噪任务，将数据集中的所有图像随机剪裁为大小为256×256的图像，再将图像旋转90°、180°或270°进行扩充，生成原始-噪声图像对，作为训练集。
3.根据权利要求1或2所述的增强门控transformer的图像去噪方法，其特征在于，所述图像去噪模型是由编码器、解码器和跳层连接组成的u型结构，图像去噪模型分为三部分：浅层特征提取、深层特征提取以及图像重建；首先，输入图像经过3×3卷积层扩展通道，提取浅层特征；然后，将transformer块与上采样、下采样结合形成编码解码器，通过跳层连接提取深度特征；最后，使用3×3卷积层将通道数恢复到原始数量，得到重构图像。
4.根据权利要求3所述的增强门控transformer的图像去噪方法，其特征在于，所述编码解码结构包括k＝4级，即包括4个编码块、4个解码块和一个底部模块，每个块都包含2个transformer块；每个编码块里transformer块后都紧接着一个步长为2的4×4卷积进行下采样，下采样将特征图的大小减小一半、通道数量增加一倍；每个解码块中transformer块前都使用卷积核为2×2的转置卷积进行上采样且步长为2，使特征映射的大小增加一倍同时通道数量减少一半。
5.根据权利要求4所述的增强门控transformer的图像去噪方法，其特征在于，每个transformer块都包含可变形卷积模块、增强多头自注意力模块以及具有门控策略的前馈网络，可变形卷积模块与增强多头自注意力模块、具有门控策略的前馈网络通过并行连接特征图相乘进行特征融合。
6.根据权利要求5所述的增强门控transformer的图像去噪方法，其特征在于，...
【专利技术属性】
技术研发人员：张杰，黄雯潇，王延峰，陈宜滨，张焕龙，张雷，李林伟，王凤仙，
申请(专利权)人：郑州轻工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。