一种基于局部特征和全局表示的图像去模糊方法技术

本发明专利技术公开了一种基于局部特征和全局表示的图像去模糊方法，属于图像处理领域。该方法首先在编码器中采用了动态卷积模块提取自适应局部特征，使用较小的卷积核与层数较少的网络提取到详细信息；然后特征输入混合模块和局部增强的Transformer模块中，这两个模块可以捕获全局信息和高质量的与全局相关的局部细节；再通过解码器进行上采样，并使用监督注意力模块增强特征；之后通过跨阶段特征融合模块融合编码器与解码器的特征并指导第二阶段的编码器，因此可以自适应地从动态模糊的场景中提取有效特征，最后经过与第一阶段相同的网络得到高质量的去模糊的图像。络得到高质量的去模糊的图像。络得到高质量的去模糊的图像。

【技术实现步骤摘要】
一种基于局部特征和全局表示的图像去模糊方法
[0001]所属领域：
[0002]本专利技术涉及图像处理领域，具体涉及一种图像去模糊方法。

技术介绍
：
[0003]图像去模糊的目标是从模糊图像中恢复潜在的清晰图像。现有的方法利用深度CNN从模糊图像中估计潜在图像，使用具有跨尺度共享权重的新尺度递归网络，以降低训练难度并引入稳定性优势。然而，这类基于CNN的方法具有固定的权重并且只能捕获部分信息，得到的去模糊图像质量不高。文献“基于增强多尺度特征网络的图像去模糊方法，激光与光电子学进展，2022，Vol59(22)，p264
‑
271”公开了一种基于增强多尺度特征网络的图像去模糊方法。该方法使用多尺度特征提取模块和跨阶段的注意力机制充分提取和利用图像不同尺度的特征，减少信息损失，提升图像空间特性表示能力。此外，采用多阶段式网络结构训练方法，提升了多阶段式网络结构的效果。文献所述方法通过卷积获得不同层级的特征，为了增加感受野，必须增加卷积层的数量、内核大小，或者使用不同尺度的图像来学习全局信息，这会导致网络层数较多，难以提高图像去模糊质量；此外，该方法的过滤器固定，难以自适应地从动态模糊的场景中提取有效特征。

技术实现思路
：
[0004]本专利技术的目的是：为了克服现有的基于增强多尺度特征网络的图像去模糊方法的不足，本专利技术提供一种基于局部特征和全局表示的图像去模糊方法。
[0005]本专利技术的技术方案是：一种基于局部特征和全局表示的图像去模糊方法，包括如下步骤：
[0006]步骤一：进行第一阶段特征提取操作，将模糊图像A经过卷积层，得到特征F0。
[0007]步骤二：特征F0输入编码器得到特征Z4，具体包括两个子步骤：
[0008]子步骤1：特征F0通过编码器中3个动态卷积模块得到特征F1，F2，F3，特征F3通过下采样操作得到特征Z3。
[0009]编码器由4个部件组成，前三个部件结构相同，包括动态卷积模块和下采样，第四个部件包括混合模块和下采样。第一个部件中，特征F
o
经过动态卷积模块得到特征F1，然后经过下采样得到特征Z1。如下所示：
[0010]F1＝DCB(F0)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0011]Z1＝Downsample(F1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0012]DCB(
·
)表示动态卷积模块，Downsample(
·
)表示下采样过程。第二个部件结构与第一个部件相同，特征Z1将作为第二个部件的输入，经过该部件得到特征F2与下采样特征Z2。同样，在第三个部件中得到特征F3与下采样特征Z3。
[0013]所述的动态卷积模块不是使用CNN的固定参数，而是通过注意力自适应地聚合4个卷积核来提高模型能力。首先通过注意力模块得到4个卷积核的系数，然后将得到的系数与输入卷积相乘，最后与输入卷积相加。以F0作为动态卷积模块的输入，F1作为输出，动态卷积
模块的操作过程中，注意力模块的计算如下：
[0014]F
T
＝ReLU(FC1(AvgPool(F0)))
ꢀꢀꢀ
(3)
[0015][0016]式中AvgPool(
·
)是平均池化操作，FC1与FC2表示全连接网络，通过注意力模块得到四个系数最终动态卷积模块的输出F1由以下公式计算得到：
[0017][0018]式中Conv(
·
)表示1
×
1的卷积层。
[0019]子步骤2：特征Z3输入混合模块得到特征F4，然后下采样得到特征Z4。
[0020]混合块充当动态卷积模块和局部增强的Transformer模块之间的桥梁。混合块由局部分支和全局分支组成，它们同时捕获局部和全局特征。下面以特征Z3作为输入，具体介绍混合模块：
[0021](I)特征Z3输入局部分支得到特征
[0022]为了自适应地从各种模糊中获取优势特征，局部分支将动态卷积集成到残差块中，给定输入特征Z3，局部分支利用动态卷积提取残差特征图局部分支的最终输出特征是输入特征Z3和残差特征的总和，公式如下所示：
[0023][0024](II)输入特征Z3通过全局分支得到特征
[0025]全局分支中输入特征Z3将被一维化并嵌入位置编码，得到新的特征该特征将作为输入局部增强的Transformer模块，输出经过上采样后得到全局分支的输出
[0026]下面以作为输入，作为输出介绍局部增强的Transformer模块。局部增强的Transformer模块利用部分局部信息来增强特征全局表示的精细细节。该模块由多头注意力(MHA)、前馈分支(FFB)和局部分支(LB)组成，模块中多头注意力和前馈分支之前采用一个归一化层(Norm)，在多头注意力和最终输出部分应用了一个残差连接。因此该模块的输出可以由以下公式表示：
[0027][0028][0029](III)混合模块中局部分支输出为全局分支输出是局部增强的Transform er模块输出上采样得到，所以混合模块输出F4如下：
[0030][0031]步骤三：特征Z4输入混合模块与局部增强的Transformer模块，得到新的特征Z5。
[0032]经过编码器得到的特征Z4，将输入混合模块与局部增强的Transformer模块，得到新的特征Z5，这里的混合模块与局部增强的Transformer模块与编码器中的混合模块与局部增强的Transformer模块结构相同。
[0033]步骤四：特征Z5通过解码器得到特征Z6。
[0034]特征Z5输入解码器，解码器由4个上采样和动态卷积模块组成的部件构成，其中动态卷积模块与编码器的动态卷积模块结构相同。与编码器类似，动态卷积模块输出为4个不同阶段的特征其中L＝4。解码器最终得到上采样特征Z6是第四个部件中动态卷积模块的输出F
′4。
[0035]步骤五：解码器输出特征Z6输入监督注意力模块得到突出特征Z7和去模糊图像B。
[0036]监督注意力模块(SAM)用于多阶段网络中，可以提供对每个阶段的渐进式图像恢复有用的监督信号，并生成注意力图来抑制当前阶段信息量较少的特征，只允许有用的特征传播到下一阶段。解码器输出的上采样特征Z6经过监督注意力模块得到突出特征Z7将作为监督信号指导第二阶段图像去模糊，同时输出去模糊图像B。
[0037]下面以Z6为输入，介绍监督注意力模块：
[0038]监督注意力模块输入特征特征Z6∈R
C
×
H
×
W
，首先通过简单的1
×
1卷积生成残差图像其中H
×
W表示空间维度，C为通道数。将残差图像与退化后的输入图像I相加，得到恢复图像X
s
∈R
C
×本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部特征和全局表示的图像去模糊方法，其特征在于，包括如下步骤：步骤一：进行第一阶段特征提取操作，将模糊图像A经过卷积层，得到特征F0；步骤二：特征F0输入编码器得到特征Z4，具体包括两个子步骤：子步骤1：特征F0通过编码器中3个动态卷积模块得到特征F1，F2，F3，特征F3通过下采样操作得到特征Z3；所述编码器由4个部件组成，前三个部件结构相同，包括动态卷积模块和下采样，第四个部件包括混合模块和下采样；第一个部件中，特征F0经过动态卷积模块得到特征F1，然后经过下采样得到特征Z1，过程如下所示：F1＝DCB(F0) (1)Z1＝Downsample(F1) (2)DCB(
·
)表示动态卷积模块，Downsample(
·
)表示下采样过程；第二个部件结构与第一个部件相同，特征Z1将作为第二个部件的输入，经过该部件得到特征F2与下采样特征Z2；同样，在第三个部件中得到特征F3与下采样特征Z3；所述的动态卷积模块不是使用CNN的固定参数，而是通过注意力自适应地聚合4个卷积核来提高模型能力；首先通过注意力模块得到4个卷积核的系数，然后将得到的系数与输入卷积相乘，最后与输入卷积相加；以F0作为动态卷积模块的输入，F1作为输出，动态卷积模块的操作过程中，注意力模块的计算如下：F
T
＝ReLU(FC1(AvgPool(F0))) (3)式中AvgPool(
·
)是平均池化操作，FC1与FC2表示全连接网络，通过注意力模块得到四个系数最终动态卷积模块的输出F1由以下公式计算得到：式中Conv(
·
)表示1
×
1的卷积层；子步骤2：特征Z3输入混合模块得到特征F4，然后下采样得到特征Z4；混合块充当动态卷积模块和局部增强的Transformer模块之间的桥梁；混合块由局部分支和全局分支组成，它们同时捕获局部和全局特征；以特征Z3作为输入，混合模块过程如下：(I)特征Z3输入局部分支得到特征为了自适应地从各种模糊中获取优势特征，局部分支将动态卷积集成到残差块中，给定输入特征Z3，局部分支利用动态卷积提取残差特征图局部分支的最终输出特征是输入特征Z3和残差特征的总和，公式如下所示：(II)输入特征Z3通过全局分支得到特征全局分支中输入特征Z3将被一维化并嵌入位置编码，得到新的特征该特征将作为输入局部增强的Transformer模块，输出经过上采样后得到全局分支的输出
以作为输入，作为输出，局部增强的Transformer模块工作过程如下：；局部增强的Transformer模块利用部分局部信息来增强特征全局表示的精细细节；该模块由多头注意力(MHA)、前馈分支(FFB)和局部分支(LB)组成，模块中多头注意力和前馈分支之前采用一个归一化层(Norm)，在多头注意力和最终输出部分应用了一个残差连接；因此该模块的输出可以由以下公式表示：可以由以下公式表示：(III)混合模块中局部分支输出为全局分支输出是局部增强的Transform er模块输出上采样得到，所以混合模块输出F4如下：步骤三：特征Z4输入混合模块与局部增强的Transformer模块，得到新的特征Z5；经过编码器得到的特征Z4，将输入混合模块与局部增强的Transformer模块，得到新的特征Z5，这里的混合模块与局部增强的Transformer模块与编码器中的混合模块与局部增强的Transformer模块结构相同；步骤四：特征Z5通过解码器得到特征Z6；特征Z5输入解码器，解...

【专利技术属性】
技术研发人员：张艳宁，闫庆森，孙瑾秋，刘胜强，朱宇，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：