一种基于模糊核先验学习的图像盲去模糊网络及方法技术

本发明专利技术涉及一种用于图像去模糊的网络及方法，具体涉及一种基于模糊核先验学习的图像盲去模糊网络及方法。解决了现有技术将图像盲去模糊视作图像回归任务，没有考虑到不同数据集差异和图像局部模糊核的变化导致较差的泛化性能的技术问题。本发明专利技术网络包括模糊核估计网络和去模糊网络。模糊核估计网络用于估计得到模糊图像的模糊核图像，其包括特征提取网络、不确定性学习模块和标准化流模型。去模糊网络用于通过模糊图像和估计出的模糊核图像得到清晰图像，其包括依次连接的下采样单元、中间单元和上采样单元。下采样单元包括依次连接的多个下采样层；中间单元包括依次连接的多个基础模块；上采样单元包括依次连接的多个上采样层。采样层。采样层。

【技术实现步骤摘要】
Hong,Seung
‑
Won Jung,and Sung
‑
Jea Ko.Rethinking coarse
‑
to
‑
fine approach in single image deblurring.In Proceedings of the IEEE/CVF international conference on computer vision,pages 4641
–
4650,2021.以及Dasong Li,Yi Zhang,Ka Chun Cheung,Xiaogang Wang,Hongwei Qin,and Hongsheng Li.Learning degradation representations for image deblurring.In European Conference on Computer Vision,pages 736
–
753.Springer,2022.)，特征提取网络强大的表现能力使得基于深度学习的图像去模糊算法大大超越了传统的图像去模糊算法。
[0006]现有基于深度学习的图像盲去模糊算法可以分为两类，第一类方法是使用卷积神经网络直接从模糊图像中估计非均匀模糊核，其中与本专利技术最接近的工作是孙剑等人在2015年提出的方法(参见Jian Sun,Wenfei Cao,Zongben Xu,and Jean Ponce.Learning a convolutional neural network for non
‑
uniform motionblur removal.In Proceedings of the IEEE conference oncomputer vision and pattern recognition,pages 769
–
777,2015.)，使用了卷积神经网络预测图像块的运动模糊核的概率分布，然后利用马尔可夫随机场模型来推断密集的非均匀运动模糊场，通过使用基于图像先验的非均匀去模糊模型来去除运动模糊。另一类方法是不估计模糊核，直接端到端地从模糊图像中恢复出原始的清晰图像，在这类方法中与本专利技术相近的工作是DeepDeblur方法(参见Seungjun Nah,Tae Hyun Kim,and Kyoung Mu Lee.Deepmulti
‑
scale convolutional neural network for dynamic scenedeblurring.In Proceedings of the IEEE conference oncomputer vision and pattern recognition,pages 3883
–
3891,2017.)，设计了一种多尺度卷积神经网络，以模拟传统的从粗略到精细的优化，并直接恢复清晰的图像，而无需假设任何受约束的模糊核模型。
[0007]由于图像模糊的形成与物体跟相机之间的相对运动有关，具有随机性，使得真实模糊核十分复杂，对非均匀(即空间变化)模糊核的准确估计也是非常困难的，因此，利用基于深度学习的图像盲去模糊方法从单幅图像中同时估计清晰图像和图像模糊核仍然是一个非常大的挑战。虽然现有基于深度学习的图像盲去模糊方法在一些公开数据集上，特别是仿真数据集上获得了较好的结果，但这些方法在很多真实模糊图像上表现较差。主要原因是现有深度学习方法将图像盲去模糊视作一个图像回归任务，没有考虑到不同图像、不同图像局部模糊核的变化，忽略了模糊核先验，导致较差的泛化性能，即在真实模糊图像上效果表现较差。

技术实现思路

[0008]本专利技术的目的是解决现有基于深度学习的图像盲去模糊方法将图像盲去模糊视作一个图像回归任务，没有考虑到不同数据集差异和图像局部模糊核的变化导致较差的泛化性能的技术问题，而提供一种基于模糊核先验学习的图像盲去模糊网络及方法。
[0009]本专利技术提出的一种基于模糊核先验学习的图像盲去模糊网络及方法，其构思是：利用标准化流模型和不确定性学习模块将复杂的运动模糊核空间映射为简单的高斯分布空间，采用在高斯分布空间内估计模糊核的方法，利用运动模糊核的先验信息，从而大幅提高模糊核估计准确性，并将估计出的模糊核用于提高图像去模糊的效果，同时恢复出更高的图像视觉质量，适用于需要产生清晰图像的场景。
[0010]本专利技术的技术解决方案是：
[0011]一种基于模糊核先验学习的图像盲去模糊网络，其特殊之处在于：包括模糊核估计网络和去模糊网络；
[0012]所述模糊核估计网络用于估计得到模糊图像的模糊核图像，其包括依次连接的特征提取网络、不确定性学习模块和标准化流模型；
[0013]所述去模糊网络用于输入待处理的模糊图像，并利用估计的模糊核图像得到清晰图像，其包括依次连接的下采样单元、中间单元和上采样单元；所述下采样单元包括依次连接的多个下采样层，沿信号输出方向依次编号为第一下采样层、第二下采样层
…
第m下采样层；中间单元包括依次连接的多个基础模块；所述上采样单元包括依次连接且与下采样层数量一致的多个上采样层，沿信号输出反方向依次编号为第一上采样层、第二上采样层
…
第m上采样层；
[0014]所述下采样层包括依次连接的模糊核注意力模块、基础模块和下采样模块；
[0015]所述上采样层包括依次连接的基础模块和上采样模块；
[0016]每个下采样层的模糊核注意力模块的输入端均与标准化流模型的输出端连接，第一下采样层的模糊核注意力模块的另一输入端用于输入模糊图像；相邻编号的下采样层之间通过前一编号的下采样模块输出端与后一编号的模糊核注意力模块的另一输入端连接；第m下采样层的下采样模块的输出端与中间单元最前端的基础模块输入端连接；相同编号的上采样层和下采样层之间通过上采样层的下采样模块输出端与下采样层的基础模块输入端连接；
[0017]相邻编号的上采样层之间通过前一编号的基础模块输入端与后一编号的上采样模块输出端连接；第m上采样层的基础模块输入端与中间单元的最末端的基础模块输出端连接；第一上采样层的上采样模块输出端用于输出清晰图像。
[0018]进一步地，所述模糊核注意力模块包括图像特征卷积层、模糊核特征卷积层、融合特征卷积层、相乘层和相加层；所述模糊核特征卷积层的输入端与标准化流模型的输出端连接；图像特征卷积层和模糊核特征卷积层的输出端分别与融合特征卷积层的输入端连接；所述相乘层的两个输入端分别与融合特征卷积层的输出端和图像特征卷积的输出端连接，用于将融合特征卷积层的输出结果与图像特征卷积的输出结果进行相乘操作；所述相加层的两个输入端分别与相乘层的输出端和图像特征卷积的输入端连接，用于将相乘层的输出结果与模糊图像进行相加操作，得到模糊核注意力模块的输出结果；
[0019]第一下采样层的模糊核注意力模块的图像特征卷积层的输入端用于输入模糊图像，其他采样层的模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模糊核先验学习的图像盲去模糊网络，其特征在于：包括模糊核估计网络和去模糊网络；所述模糊核估计网络用于估计得到模糊图像的模糊核图像，其包括依次连接的特征提取网络、不确定性学习模块和标准化流模型；所述去模糊网络用于输入待处理的模糊图像，并利用估计的模糊核图像得到清晰图像，其包括依次连接的下采样单元、中间单元和上采样单元；所述下采样单元包括依次连接的多个下采样层，沿信号输出方向依次编号为第一下采样层、第二下采样层
…
第m下采样层；中间单元包括依次连接的多个基础模块；所述上采样单元包括依次连接且与下采样层数量一致的多个上采样层，沿信号输出反方向依次编号为第一上采样层、第二上采样层
…
第m上采样层；所述下采样层包括依次连接的模糊核注意力模块、基础模块和下采样模块；所述上采样层包括依次连接的基础模块和上采样模块；每个下采样层的模糊核注意力模块的输入端均与标准化流模型的输出端连接，第一下采样层的模糊核注意力模块的另一输入端用于输入模糊图像；相邻编号的下采样层之间通过前一编号的下采样模块输出端与后一编号的模糊核注意力模块的另一输入端连接；第m下采样层的下采样模块的输出端与中间单元最前端的基础模块输入端连接；相同编号的上采样层和下采样层之间通过上采样层的下采样模块输出端与下采样层的基础模块输入端连接；相邻编号的上采样层之间通过前一编号的基础模块输入端与后一编号的上采样模块输出端连接；第m上采样层的基础模块输入端与中间单元的最末端的基础模块输出端连接；第一上采样层的上采样模块输出端用于输出清晰图像。2.根据权利要求1所述的一种基于模糊核先验学习的图像盲去模糊网络，其特征在于：所述模糊核注意力模块包括图像特征卷积层、模糊核特征卷积层、融合特征卷积层、相乘层和相加层；所述模糊核特征卷积层的输入端与标准化流模型的输出端连接；图像特征卷积层和模糊核特征卷积层的输出端分别与融合特征卷积层的输入端连接；所述相乘层的两个输入端分别与融合特征卷积层的输出端和图像特征卷积的输出端连接，用于将融合特征卷积层的输出结果与图像特征卷积的输出结果进行相乘操作；所述相加层的两个输入端分别与相乘层的输出端和图像特征卷积的输入端连接，用于将相乘层的输出结果与模糊图像进行相加操作，得到模糊核注意力模块的输出结果；第一下采样层的模糊核注意力模块的图像特征卷积层的输入端用于输入模糊图像，其他采样层的模糊核注意力模块的图像特征卷积层的输入端分别与前一编号的采样层的下采样模块的输出端连接；所述相加层的输出端与同一模糊核注意力模块的基础模块的输入端连接。3.根据权利要求1或2所述的一种基于模糊核先验学习的图像盲去模糊网络，其特征在于：所述基础模块包括依次连接的第一LayerNorm层、第一卷积层、第二卷积层、第一SimpleGate层、Simplified Channel Attention层、第三卷积层、第二LayerNorm层、第四卷积层、第二SimpleGate层和第五卷积层；所述Simplified Channel Attention层包括连接的AveragePooling层和第六卷积层；
所述第一SimpleGate层用于将图像特征图按通道平均分为两部分，并将这两部分按像素位置相乘得到输出结果；所述第一SimpleGate层和第二SimpleGate层结构相同。4.根据权利要求3所述的一种基于模糊核先验学习的图像盲去模糊网络，其特征在于：所述特征提取网络包括依次连接的编码器残差模块、下采样层、中间卷积层、上采样层和解码器残差模块；其中，编码器残差模块和解码器残差模块均包括依次连接的第七卷积层、ReLIU激活函数层、第八卷积层、ReLIU激活函数层、第九卷积层；所述标准化流模型包括依次连接的二十个flowblock；所述flowblock包括依次连接的batch normalization layer、permutationlayer和affine transformation layer；所述下采样层数量为三个，沿信号输出方向依次编号为第一下采样层、第二下采样层、第三下采样层；所述上采样层数量为三个，沿信号输出反方向依次编号为第一上采样层、第二上采样层、第三上采样层；所述中间单元包括依次连接的二十八个基础模块。5.一种基于模糊核先验学习的图像盲去模糊方法，其特征在于，包括如下步骤：1)获取模糊图像集Y和对应的清晰图像集X；2)使用随机轨迹生成的方法获取模糊核图像集；3)构建权利要求1
‑
4任一所述的基于模糊核先验学习的图像盲去模糊网络；4)随机初始化标准化流模型、模糊核估计网络和去模糊网络的权值和偏置；5)进行训练5.1...

【专利技术属性】
技术研发人员：董伟生，方振轩，毋芳芳，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：