【技术实现步骤摘要】
本专利技术属于图像处理、计算机视觉，具体涉及基于注意力机制残差傅里叶变换网络的图像去模糊方法。
技术介绍
1、单幅图像去模糊的目的是从模糊图像中获得清晰的图像。随着智能手机、相机等移动设备的普及，模糊图像的数量大幅上升，去模糊的需求也不断增加。因此，图像去模糊的重要性不言而喻。
2、由于去模糊任务本质上是一个不适定的问题，其解决方案并不是唯一的，因此人们引入了各种手动设计的先验条件来帮助限制可能的解决方案。结合深度卷积神经网络，去模糊任务近年来取得了长足的进步。在之前的很多工作中，残差学习方法一直是最重要的方法之一。文献(nah,s.,hyun kim,t.,mu lee,k.:deep multi-scale convolutionalneural network for dynamic scene deblurring.in:proceedings ofthe ieeeconference on computer vision andpattern recognition.pp.3883–3891(2017))简化了原始残差网络构建块并提出了resblock，它使用两个卷积层和残差连接来提取模糊和清晰图像对中的高频和低频信息。然而，正如文献(mao,x.,liu,y.,shen,w.,li,q.,wang,y.:deepresidualfouriertransformationforsingleimagedeblurring.arxivpreprintarxiv:2111.11745(2021))中指出的，res
3、基于此，现有技术中仍旧无法对不同成因的模糊进行有针对性的去除。
技术实现思路
1、本专利技术的目的是为了克服现有图像去模糊技术的不足，通过利用像素注意力机制构建轻量化、高性能的深度神经网络，本申请提供基于注意力机制残差傅里叶变换网络的图像去模糊方法，从而创造一种能够实时处理图像模糊、解决图像纹理和细节丢失的图像去模糊方法。
2、基于注意力机制残差傅里叶变换网络的图像去模糊方法，包括以下步骤：
3、步骤1，准备数据：利用合成方法，将基准图像作为输入得到一组清晰度略低于基准图像的图像，记作模糊图像，并与对应的基准图像共同构成训练数据集；其中，每个训练数据由一张模糊图像和一张对应的基准图像构成；
4、步骤2，构造深度神经网络：用训练数据集训练网络得到能帮助图像去除模糊的深度神经网络参数，将训练数据集中的模糊图像作为神经网络的输入数据，得到的复原图像作为输出；
5、步骤3，设置神经网络模型的目标损失函数；其中，目标损失函数包括：图像语义信息目标损失函数lmsc、图像边缘信息目标损失函数lmsed、图像频域信息目标损失函数lmsfr；
6、步骤4，对模糊图像以及基准图像进行压缩处理，将不同尺寸的压缩图片作为神经网络模型的三个输入数据，得到复原图像。
7、进一步地，步骤(3)中神经网络的目标损失函数可加权地表示为：
8、l＝lmsc+α1lmsed+α2lmsfr
9、其中，α1和α2分别为lmsed和lmsfr的权重系数，各约束项的权重系数如下：α1＝0.05，α2＝0.01。
10、进一步地，所述的深度神经网络模型包含卷积层、基于注意力机制的残差傅里叶变换模块、高效特征提取模块、特征注意模块、非对称特征融合模块构成；构建步骤如下：
11、步骤21，构建卷积层模块，用于提取输入图像的特征信息，采用即插即用的do-conv模块作为本网络的卷积层模块，在不增大参数量的情况下提升模型性能；
12、步骤22，构建基于注意力机制的残差傅里叶变换模块，残差傅里叶变换模块包括三个分支：频域分支，空域分支和残差连接分支；频域分支将输入特征图使用快速傅里叶算法变换至频域，然后通过1层1×1大小的卷积核卷积，1层relu层，再1层1×1大小的卷积核卷积，最后由逆快速傅里叶变换转换回空域且保持特征通道数不变；空域分支将特征图经过1层3×3大小的卷积核卷积，1层relu层，再1层3×3大小的卷积核卷积，最后经过像素注意力模块输出；其中，像素注意力模块包括两个分支，其中一个将输入特征图经过1层1×1大小的卷积核卷积和1层sigmoid层，另一分支将输入特征图直接与前一分支所得输出逐像素相乘得到最终输出；残差连接分支将整个模块的输入特征图直接连接到输出处，与其余两分支的输出特征图逐像素相加，得到该模块的最终输出特征图；
13、步骤23，构建高效特征提取模块，高效特征提取模块包括3个连续的卷积层，卷积核大小分别为3×3、3×3、1×1；输入图像经过这三层连续的卷积层得到输出特征图，完成浅层特征的提取；
14、步骤24，构建特征注意模块，该模块有两部分输入，第一部分来自尺度较小的特征图，第二部分来自尺度较大的特征图经卷积层降维后的结果；第一部分输入先与第二部分输入逐像素相乘，再经过3×3大小的卷积核卷积，最后与第二部分输入再逐像素相加，得到最终输出；
15、步骤25，构建非对称特征融合模块，非对称特征融合模块将三个不同尺度的特征图重塑成相同尺度特征图后进行并置操作，再通过卷积核分别为1×1、3×3的两个卷积层得到最终输出；
16、步骤26，将上述构建的卷积层、基于注意力机制的残差傅里叶变换模块、高效特征提取模块、特征注意模块和非对称特征融合模块进行组合。对两个较小尺度的输入图像先施加高效特征提取模块提取图像浅层特征，之后对网络的三个层均采用3×3卷积层一步提取特征；随后，对较小尺度的两层上施以特征注意模块，融合相邻两层间提取的特征，增强特征的全局性和多样性；接着，对三层均采用8个连续的基于注意力机制的残差傅里叶变换模块，自适应地提取不同类型模糊图像中的高频信息帮助去模糊；再对较大尺度的两层施加非对称特征融合模块，融合三个不同尺度提取出的深层信息，将的深层特征输出至后续网络；网络的后续解码部分基本与前述编码部分一一对应且对称，对于最小尺度的一层，先经过8个连续的基于注意力机制的残差傅里叶变换模块，再经过3×3卷积层并加上输入部分的残差连接得到对应尺度的复原图像作为输出，对于较大尺度的两层，先与比自身尺度小一层的经转置卷积放大后的特征并置，再将联合特征输入8个连续的基于注意力机制的残差傅里叶变换模块中复原特征，同样经由卷积层和残差连接后得到对应尺度的复原图像。
17、进一步地，输出的三个不同尺度的复原图像均要与对应尺度的基准图像采用步骤3中神经网络的目标损失函数计算损失值指导反向传播优化。
本文档来自技高网...【技术保护点】
1.基于注意力机制残差傅里叶变换网络的图像去模糊方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，步骤3中神经网络的目标损失函数可加权地表示为：
3.根据权利要求1所述的方法，其特征在于，所述深度神经网络模型包含卷积层、基于注意力机制的残差傅里叶变换模块、高效特征提取模块、特征注意模块、非对称特征融合模块构成；构建步骤如下：
4.根据权利要求1所述的方法，其特征在于，输出的三个不同尺度的复原图像均要与对应尺度的基准图像采用步骤3中神经网络的目标损失函数计算损失值指导反向传播优化。
5.根据权利要求1所述的方法，其特征在于，深度神经网络的batch size为8，训练迭代次数为3000，网络的学习率采用余弦退火策略，从2×10-4平滑下降至1×10-6。
6.根据权利要求1所述的方法，其特征在于，对模糊图像以及基准图像进行压缩处理，将不同尺寸的压缩图片作为神经网络模型的三个输入数据，得到复原图像，包括：
【技术特征摘要】
1.基于注意力机制残差傅里叶变换网络的图像去模糊方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，步骤3中神经网络的目标损失函数可加权地表示为：
3.根据权利要求1所述的方法，其特征在于，所述深度神经网络模型包含卷积层、基于注意力机制的残差傅里叶变换模块、高效特征提取模块、特征注意模块、非对称特征融合模块构成；构建步骤如下：
4.根据权利要求1所述的方法，其特征在于，输出的三个不同尺度...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。