一种基于非局部注意力的深度增强图像去噪方法技术

本发明专利技术公开了一种基于非局部注意力的深度增强图像去噪方法，包括：将数据集中的图像输入预先构建的网络框架中，对干净图像进行分块，得到预处理图像；对预处理图像加上加性噪声，得到带噪声图像；将带噪声图像输入到非局部注意力模块，得到带有图像非局部信息的特征图；对带有图像非局部信息的特征图进行卷积操作，得到抽象的特征图；对抽象的特征图进行卷积操作进行图像重建，得到重建后的图像；将重建后的图像输入到非局部注意力模块，得到去噪后的图像；计算去噪后的图像与干净图像之间的损失，并通过网络的正向、反向传播降低损失，直到迭代次数达到阈值或学习率衰减至下限时，得到去噪模型。到去噪模型。到去噪模型。

【技术实现步骤摘要】
image restoration(用于图像修复的残差密集网络),”IEEE Trans.Pattern Anal.Mach.Intell.,vol.43,no.7,pp.2480
–
2495,Jul.2021.

技术实现思路

[0011]本专利技术的目的在于提供一种基于非局部注意力的深度增强图像去噪方法，以解决现有技术缺陷。
[0012]一种基于非局部注意力的深度增强图像去噪方法，包括：
[0013]将数据集中的图像输入预先构建的网络框架中，对干净图像进行分块，得到预处理图像；
[0014]对预处理图像加上加性噪声，得到带噪声图像；
[0015]将带噪声图像输入到非局部注意力模块，得到带有图像非局部信息的特征图；
[0016]对带有图像非局部信息的特征图进行卷积操作，得到抽象的特征图；
[0017]对抽象的特征图进行卷积操作进行图像重建，得到重建后的图像；
[0018]将重建后的图像输入到非局部注意力模块，得到去噪后的图像；
[0019]计算去噪后的图像与干净图像之间的损失，并通过网络的正向、反向传播降低损失，直到迭代次数达到阈值或学习率衰减至下限时，得到去噪模型。
[0020]进一步地，所述网络框架的参数设置为：训练数据前向传播和后向传播的次数num_epoch＝800,批大小batch_size＝64,训练开始时的学习率base_lr＝0.001,学习率衰减的权重power＝1.5,训练结束时的学习率end_lr＝0.0001。
[0021]进一步地，所述去噪模型使用的损失函数如下：
[0022][0023]此时，将用于测试的带噪声图片输入到去噪模型中，从而得到去噪后的图像。
[0024]进一步地，所述带有图像非局部信息的特征图获取方法包括：
[0025]首先对带噪声图像进行两次卷积核大小为1*1的卷积，获得特征图参数特征，接着将两次卷积核的两个特征参数做点积，将相似性特征矩阵经过softmax处理得到相似性权值，计算出特征图中的自相关性，得到特征图中每个位置与其他所有位置的相似性权重矩阵；
[0026]对输入再做一次卷积核大小为1*1的卷积得到参数特征，将卷积后的结果与相似性权重矩阵做点积，最后将点积得到的结果做一次卷积核大小为1*1的卷积并将此次卷积的结果作为最后输出的特征图。
[0027]进一步地，所述网络框架包括非局部注意力模块、DDF
‑
S模块和DDF模块；
[0028]非局部注意力模块用于在去噪网络中加入非局部注意力模块通过对特征图中不同位置求取相似性；
[0029]DDF
‑
S模块与DDF模块结构一致用于特征提取。
[0030]进一步地，图像预处理包括：从数据集中取一组干净图像作为一组数据，对这一组数据中的干净图像y进行分块，分块之后的图像大小为50*50，得到预处理图像。
[0031]与现有技术相比，本专利技术所达到的有益效果：本专利技术主要解决图像去噪问题，通过
在神经网络中加入非局部注意力机制的策略，建立一种新的DDFN
‑
N图像去噪方法实现对图像去噪的目的，与目前图像去噪算法相比，DDFN
‑
N图像去噪算法通过加入非局部注意力机制，可有效利用图像的非局部信息；在真实世界中，几乎所有图像都具有非局部信息，因此该算法适用于各种图像的去噪，并且对于非局部信息丰富的图像去噪效果更佳。
附图说明
[0032]图1是本专利技术图像去噪流程图；
[0033]图2是本专利技术整个网络的框架图；
[0034]图3是本专利技术DDF模块的结构图；
[0035]图4是本专利技术DDF
‑
S模块结构图；
[0036]图5是本专利技术非局部注意力模块结构图。
具体实施方式
[0037]为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本专利技术。
[0038]本专利技术目的是针对当前图像去噪模型的去噪效果不佳，同时在神经网络学习去噪模型时，没有利用图像的非局部信息，导致去噪模型无法学习到图像本身的潜在信息，提出了一种基于非局部注意力的深度增强去噪模型。该模型不仅可以有效恢复受损图像，抑制噪声，同时引入非局部注意力机制可以捕获输入特征图的像素间长远依赖关系，扩大感受野，从而提高图像去噪的效果，使得图像更容易让人辨别，具体步骤如下：
[0039]步骤1：构建神经网络去噪模型的网络框架，并且合理设置网络中的参数，设置的参数分别为：所有训练数据前向传播和后向传播的次数num_epoch＝800,批大小batch_size＝64,训练开始时的学习率base_lr＝0.001,学习率衰减的权重power＝1.5,训练结束时的学习率end_lr＝0.0001；
[0040]步骤2：从数据集中取64张干净图像作为一批数据，对批数据中的干净图像y进行分块，分块之后的图像大小为50*50，得到预处理图像；
[0041]步骤3：对预处理图像加上符合正态分布的加性高斯噪声，得到带噪声图像z
j
(j＝1,2
…
m)；
[0042]步骤4：将带噪声图像z
j
(j＝1,2
…
m)输入到非局部注意力模块，得到带有图像非局部信息的特征图x
i
(i＝1,2
…
n)；具体来说，首先对输入进行两次卷积核大小为1*1的卷积，获得特征图参数特征，接着将前两个特征参数做点积，将相似性特征矩阵经过softmax处理得到相似性权值，通过这一过程计算出特征图中的自相关性，得到特征图中每个位置与其他所有位置的相似性权重矩阵，然后对输入再做一次卷积核大小为1*1的卷积得到参数特征，将卷积后的结果与相似性权重矩阵做点积，最后将点积得到的结果做一次卷积核大小为1*1的卷积并将此次卷积的结果作为最后输出的特征图；
[0043]步骤5：对带有图像非局部信息的特征图进行一系列的卷积操作，进一步得到更抽象的特征图具体来说，特征图分别在两条路径上进行训练，一条路径是先进行卷积核大小为3*3的一般卷积，再进行卷积核大小为3*3的扩张卷积，另一条路径则是相反，这样做使得网络能够学习到的特征更丰富，最后我们将两条路径上得到的特征图拼接
起来作为输出，并且为了防止网络的深入而带来梯度爆炸，我们将输入的特征图与输出一并拼接作为一个模块的输出，这样做还可以减少图像纹理细节的丢失；
[0044]步骤6：通过对抽象的特征图进行卷积核大小为1*1的卷积操作进行图像重建，得到重建后的图像
[0045]步骤7：将重建后的图像输入到非局部注意力模块，增强图像的非局部信息，经过非局部注意力模块之后得到本轮迭代去噪后的图像y
’
；
[0046]步骤8：计算去噪后的图像y
’
与干净图像之间的损失，并通过网络的正向、反向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非局部注意力的深度增强图像去噪方法，其特征在于，包括：将数据集中的图像输入预先构建的网络框架中，对干净图像进行分块，得到预处理图像；对预处理图像加上加性噪声，得到带噪声图像；将带噪声图像输入到非局部注意力模块，得到带有图像非局部信息的特征图；对带有图像非局部信息的特征图进行卷积操作，得到抽象的特征图；对抽象的特征图进行卷积操作进行图像重建，得到重建后的图像；将重建后的图像输入到非局部注意力模块，得到去噪后的图像；计算去噪后的图像与干净图像之间的损失，并通过网络的正向、反向传播降低损失，直到迭代次数达到阈值或学习率衰减至下限时，得到去噪模型。2.根据权利要求1所述的基于非局部注意力的深度增强图像去噪方法，其特征在于，所述网络框架的参数设置为：训练数据前向传播和后向传播的次数num_epoch＝800,批大小batch_size＝64,训练开始时的学习率base_lr＝0.001,学习率衰减的权重power＝1.5,训练结束时的学习率end_lr＝0.0001。3.根据权利要求1所述的基于非局部注意力的深度增强图像去噪方法，其特征在于，所述去噪模型使用的损失函数如下：此时，将用于测试的带噪声图片输入到去噪模型中，从而得到去噪后的图像。4.根据权利要求1...

【专利技术属性】
技术研发人员：刘力，江结林，洪祥明，徐红祥，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：