基于协作性非本地上下文网络的图像去噪方法技术

本发明专利技术公开了一种基于协作性非本地上下文网络的图像去噪方法，其步骤如下：1、对数据集进行预处理，构建输入样本数据；2、构建基于协作性非本地上下文网络模型，包括浅层特征提取模块、深层特征提取模块以及图像重建模块；3、训练网络，调整网络参数，得到最优模型。本发明专利技术通过联合像素级非局部特征和图像块级非局部特征，充分挖掘图像内的全局依赖关系，提高图像恢复的质量，解决了现有的卷积神经网络无法捕获非局部的上下文依赖关系，在实际应用时效果不佳的问题，从而能用于图像去噪任务，使图像的纹理细节信息得到很好的恢复。图像的纹理细节信息得到很好的恢复。图像的纹理细节信息得到很好的恢复。

【技术实现步骤摘要】
基于协作性非本地上下文网络的图像去噪方法


[0001]本专利技术涉及图像处理
，具体涉及一种基于协作性非本地上下文网络的图像去噪方法。

技术介绍

[0002]图像去噪是从有噪声的低质量图像中恢复干净的高质量图像的过程。在现实世界中，图像在采集过程中经常受到各种信号或噪声的污染，图像质量会下降。为了解决这一问题，图像去噪作为图像复原的一个基本问题，在过去的几十年里得到了广泛的研究，在各种现实计算机视觉任务中发挥着重要作用，如医学成像、监视和安全。它不仅可以提高图像的质量，还可以作为其他计算机视觉应用的辅助任务。
[0003]现有的图像去噪方法可以分为基于先验和基于学习的方法。基于先验的方法是基于自然图像中的一些先验，如局部平滑、自相似性等。虽然取得了显著的性能，但一旦先验与真实数据分布不一致，将得到不精确的去噪结果。与依赖先验的方法不同，基于学习的方法以端到端方式学习从噪声图像到干净图像的映射。近年来，随着深度神经网络的普及，许多基于卷积网络的图像去噪架构被设计出来。
[0004]然而，传统的卷积神经网络的方法只能在一个小的局部邻域中操作，无法利用特征的上下文依赖关系，无法充分利用图片的全部特征，去噪性能不佳。

技术实现思路

[0005]本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于协作性非本地上下文网络的图像去噪方法，联合像素级非局部特征和图像块级非局部特征，充分挖掘图像内的全局依赖关系，提高图像恢复的质量，从而能用于图像去噪任务，使图像的纹理细节信息得到很好的恢复。
[0006]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0007]本专利技术一种基于协作性非本地上下文网络的图像去噪方法的特点在于，包括如下步骤：
[0008]步骤1、对数据集进行预处理，并构建输入样本数据；
[0009]在获取的高质量图片数据集中添加不同噪声水平的加性高斯白噪声，从而获得噪声图像数据集其中，表示第i张高质量图片，表示第i张噪声图像，T为高质量图片的总数；
[0010]步骤2、构建基于协作性非本地上下文网络模型，包括：浅层特征提取模块、深层特征提取模块以及图像重建模块；
[0011]步骤2.1、所述浅层特征提取模块为一层的卷积层，并用于对第i张噪声图像进行处理，得到第i个浅层特征
[0012]步骤2.2、所述深层特征提取模块由N个非局部特征提取模块组成，任意第n个非局部特征提取模块由1个像素级非局部模块和1个图像块级非局部模块组成，并用于对第i个浅层特征进行处理，得到第N个深层特征
[0013]步骤2.3、所述重建模块对第N个深层特征进行卷积操作，得到的结果与第i个浅层特征相加，得到第i张高质量图片
[0014]步骤3、训练网络，调整网络参数，得到最优模型：
[0015]所述噪声图像数据集I
LQ
输入基于协作性非本地上下文网络模型中，并采用梯度下降法对所述基于协作性非本地上下文网络模型进行训练，同时计算如式(2)所示的损失函数L以更新模型参数，直到损失函数L收敛为止，从而得到训练好的协作性非本地上下文网络模型，用于实现对任一噪声图像的高质量恢复：
[0016][0017]本专利技术所述的基于协作性非本地上下文网络的图像去噪方法的特点也在于，所述步骤2.2包括：
[0018]步骤2.2.1、所述像素级非局部模块依次由M个注意引导残差块和1个卷积层PIConv组成；其中，任意第m个注意引导残差块依次由卷积层、激活函数层ReLU、卷积层以及一对并行的空间感知上下文模块和通道感知上下文模块、残差支路组成；
[0019]当n＝1,m＝1时，所述浅层特征输入到第n个非局部特征提取模块中的像素级非局部模块，并依次经过第m个注意引导残差块的第一卷积层、激活函数层ReLU、第二卷积层的处理后输出特征图其中，C、H和W分别表示图片的通道数量、高度和宽度；
[0020]所述特征图分别输入第m个注意引导残差块的空间感知上下文模块和通道感知上下文模块中进行处理，其中，所述空间感知上下文模块对依次经过卷积层和softmax函数处理后，得到空间上下文注意权重并与进行矩阵相乘，得到上下文集合
[0021]所述空间感知上下文模块对进行卷积操作后得到转换后的特征向量并与进行加权平均集成，从而得到空间感知的上下文特征
[0022]所述通道感知上下文模块将依次经过全局平均池化层GAP、第一卷积层、激活函数层ReLU、第二卷积层、激活函数sigmoid的处理后，生成通道上下文注意权重并与进行矩阵相乘后，得到通道感知的上下文特征
[0023]将和相加后，再经过所述残差支路后与第m个注意引导残差块的输入相加，从而得到第m个上下文特征
[0024]当n＝1,m＝2,3,
…
,M时，第m
‑
1个上下文特征输入到第n个非局部特征提取
模块的像素级非局部模块的第m个注意引导残差块中进行处理，从而得到第m个上下文特征进而由第M个注意引导残差块输出第M个上下文特征并经过所述卷积层PIConv的处理后与第n个非局部特征提取模块的像素级非局部模块的输入相加，从而得到第n块非局部特征提取模块中的像素级非局部模块输出的像素级特征
[0025]步骤2.2.2、所述第n个非局部模块特征提取模块中的图像块级非局部模块采用层数为S的多尺度自注意力模块，并由一个共享的Query值生成支路、S个Key值生成支路和S个Value值生成支路，以及S个注意力生成模块；
[0026]所述Query值生成支路依次由卷积核为1
×
1的卷积层、Unfold函数层以及Reshape层组成；第s个Key值生成支路和第s个Value值生成支路均由1个卷积层、Unfold函数层以及Reshape层组成；s＝1,
…
,S；其中，第s个Key值生成支路中的卷积层的卷积核为2
s
‑1×2s
‑1，步幅为2
s
‑1；第s个Value值生成支路中的卷积层的卷积核为2
s
‑1×2s
‑1，步幅为2
s
‑1；
[0027]当n＝1时，将第n块非局部特征提取模块中的像素级非局部模块输出的像素级特征输入到第n块非局部特征提取模块的图像块级非局部模块中，并经过所述Query值生成支路的处理，生成共享Query特征
[0028]像素级特征分别输入S个Key值生成支路和S个Value值生成支路中进行处理并相应生成S层的Key值和S层Value值后，再利用式(1)得到多个尺度下的增强特征其中，表示第n个非局部模块特征提取模块中的图像块级非局部特征提取模块的第s个Key值，表示第n个非局部模块特征提取模块中的图像块级非局部特征提取模块的第s个Value值；
[0029][0030]式(1)中，softmax表示激活函数，表示第n个非局部模块特征提取模块中的图像块级非局部模块的第s个增强特征；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于协作性非本地上下文网络的图像去噪方法，其特征在于，包括如下步骤：步骤1、对数据集进行预处理，并构建输入样本数据；在获取的高质量图片数据集中添加不同噪声水平的加性高斯白噪声，从而获得噪声图像数据集其中，表示第i张高质量图片，表示第i张噪声图像，T为高质量图片的总数；步骤2、构建基于协作性非本地上下文网络模型，包括：浅层特征提取模块、深层特征提取模块以及图像重建模块；步骤2.1、所述浅层特征提取模块为一层的卷积层，并用于对第i张噪声图像进行处理，得到第i个浅层特征步骤2.2、所述深层特征提取模块由N个非局部特征提取模块组成，任意第n个非局部特征提取模块由1个像素级非局部模块和1个图像块级非局部模块组成，并用于对第i个浅层特征进行处理，得到第N个深层特征步骤2.3、所述重建模块对第N个深层特征进行卷积操作，得到的结果与第i个浅层特征相加，得到第i张高质量图片步骤3、训练网络，调整网络参数，得到最优模型：所述噪声图像数据集I
LQ
输入基于协作性非本地上下文网络模型中，并采用梯度下降法对所述基于协作性非本地上下文网络模型进行训练，同时计算如式(2)所示的损失函数L以更新模型参数，直到损失函数L收敛为止，从而得到训练好的协作性非本地上下文网络模型，用于实现对任一噪声图像的高质量恢复：2.根据权利要求1所述的基于协作性非本地上下文网络的图像去噪方法，其特征在于，所述步骤2.2包括：步骤2.2.1、所述像素级非局部模块依次由M个注意引导残差块和1个卷积层PIConv组成；其中，任意第m个注意引导残差块依次由卷积层、激活函数层ReLU、卷积层以及一对并行的空间感知上下文模块和通道感知上下文模块、残差支路组成；当n＝1,m＝1时，所述浅层特征输入到第n个非局部特征提取模块中的像素级非局部模块，并依次经过第m个注意引导残差块的第一卷积层、激活函数层ReLU、第二卷积层的处理后输出特征图其中，C、H和W分别表示图片的通道数量、高度和宽度；所述特征图分别输入第m个注意引导残差块的空间感知上下文模块和通道感知上下文模块中进行处理，其中，所述空间感知上下文模块对依次经过卷积层和softmax函数处理后，得到空间上下文注意权重并与进行矩阵相乘，得到上下文集合所述空间感知上下文模块对进行卷积操作后得到转换后的特征向量并与
进行加权平均集成，从而得到空间感知的上下文特征所述通道感知上下文模块将依次经过全局平均池化层GAP、第一卷积层、激活函数层ReLU、第二卷积层、激活函数sigmoid的处理后，生成通道上下文注意权重并与进行矩阵相乘后，得到通道感知的上下文特征将和相加后，再经过所述残差支路后与第m个注意引导残差块的输入相加，从而得到第m个上下文特征当n＝1,m＝2,3,
…
,M时，第m
‑
1个上下文特征输入到第n个非局部特征提取模块的像素级非局部模块的第m个注意引导残差块中进行处理...

【专利技术属性】
技术研发人员：赵仲秋，李军，吴霜，沈浩，张婉迪，
申请(专利权)人：安徽省纤维检验局广西科学院合肥智大信息技术有限公司，
类型：发明
国别省市：