一种基于双闭环网络的图像去模糊方法技术

本发明专利技术涉及一种基于双闭环网络的图像去模糊方法，属于数字图像和视频处理领域。包括向模型中读入一幅模糊图像，该模型包括主干网络、转置网络和两个辅助网络，通过扩展的损失函数优化模型，通过优化的模型，得到清晰的图像，实现图像去模糊任务。有益效果是：(1)本发明专利技术是针对图像的精确去模糊方法；(2)本发明专利技术设计了一个双闭环网络来限制从模糊图像到清晰图像的映射解空间，并对网络中间层获得的特征提供约束。(3)在不改变网络结构的情况下，本发明专利技术方法的损失函数可以很容易地扩展到处理不成对的数据集。(4)本发明专利技术可以广泛应用于各种场景的图像去模糊任务，有助于后续的识别和分析等任务。析等任务。析等任务。

【技术实现步骤摘要】
一种基于双闭环网络的图像去模糊方法


[0001]本专利技术属于数字图像和视频处理领域，尤其是指一种基于双闭环网络的图像去模糊方法。

技术介绍

[0002]模糊会降低图像质量，并降低许多实际应用的性能，如目标检测和人脸识别。因此，图像去模糊是数字图像处理领域的研究热点，其目的是从模糊源中恢复清晰的图像。然而，图像的模糊可能由各种因素引起，例如物体的移动、相机的抖动和失焦，导致将模糊图像映射到清晰空间的可能函数的解空间非常大。因此，图像去模糊是一个典型的不适定问题。为了解决这个不适定问题，现有的去模糊方法大致可以分为两大类，一类是传统的浅层方法，另一类是基于深度学习的方法。
[0003]传统的浅层图像去模糊方法使用各种约束和先验推断模糊核和清晰图像，这在很大程度上依赖于对模糊模型的假设。而且，由于浅层去模糊方法在有限的样本上提取图像先验信息，只能在某些模糊图像上获得良好的去模糊效果，而对真实场景的鲁棒性较差。此外，大多数浅层方法中的参数调整也很复杂。
[0004]随着深度学习技术的飞速发展，一些基于深度卷积神经网络(CNN)的方法相继被提出来处理图像去模糊问题。与浅层方法相比，基于深度卷积神经网络的图像去模糊方法采用非线性参数模型来模拟图像的模糊过程。因此，它们可以更好地估计模糊核。这类方法的优势在于，它们可以通过端到端的方式训练CNN模型，直接对图像进行去模糊，从而处理不同的模糊源。早期的工作主要集中在模糊核的估计上。Sun等人利用CNN估计运动矢量的大小和方向，从而获得模糊核。Gong等人利用全卷积神经网络进行运动流估计。然而，由于在现实场景中模糊核是极其复杂的，很难通过简单的CNN得到一个能够处理不同类型模糊的广义模糊核。因此，以无核方式直接去模糊图像的回归网络变得流行。Nah等人提出了一种基于多尺度结构的深度CNN，用于动态场景去模糊。该方法可以在不进行核估计的情况下恢复潜在的清晰图像，从而避免了由于模糊核不足而导致的误差。Zhang等人提出了一种称为深度分层多块网络的去模糊模型，该模型通过分层多块技术利用不同尺度下图像的模糊线索实现良好的去模糊效果。Tao等人将长短时记忆(LSTM)引入到图像去模糊模型中，并采用编码器
‑
解码器结构提出了一种尺度递归网络(SRN)。Zhang等人将CNN与RNN相结合，提出了一种参数共享的图像去模糊方法。Gao等人在CNN中引入了跨越连接机制，以避免去模糊过程中的梯度消失问题。Ramakrishnan等人首先引用图像翻译的思想，采用GAN来解决图像去模糊问题。然后，Kupyn等人相继提出了DeblurGAN和DeblurGAN
‑
v2来去除图像中的模糊。具体来说，DeblurGAN是基于GAN和内容损失来消除由物体运动引起的模糊。DeblurGAN
‑
v2基于鉴别器提出了一种新的损失函数，它不仅提高了去模糊图像的质量，而且降低了计算成本。然而，DeblurGAN和DeblurGAN
‑
v2都不能处理训练数据中的未配对数据。因此，文献Zhang等人提出了一种具有两个互补GAN的去模糊方法来解决这一限制，并实现了最先进的网络性能。
[0005]双重学习是由一个原始模型和一个双重模型组成，用于同时学习两个相反的映射，由Xia等人首次提出，以减少在语言翻译训练中对标记数据的要求。最近，这种方法也被用于计算机视觉问题。Liu和Tuzel提出了一种耦合生成对抗网络，该网络将两个GAN同时训练，以解决没有成对训练数据的图像翻译问题。Yi等人提出了一种对偶结构，它可以被视为两个域中图像之间的图像转换器。类似地，Zhu等人提出了一种CycleGAN，它可以直接学习不同图像空间之间的双向变换函数。DualGAN和CycleGAN中的循环结构或闭环结构允许来自任一域的图像被转换和重构。为了解决图像超分辨率的问题，Guo等人提出了一种双重回归方案，通过在低分辨率数据上引入额外的约束来减少可能解的空间。
[0006]循环一致性是双重学习中常用的标准。循环一致性认为，对偶学习中两个模型得到的映射应该是彼此相反的，并且两个映射都应该是相互映射。最近，循环一致性被广泛应用于协同分割、运动结构分析和图像匹配等任务中。Zhou等人和Godard等人将周期一致性损失作为监督CNN训练的标准。这些方法通过增强图像之间的周期一致性和空间约束，学习固定特征表示上的鲁棒稠密对应。相似性，Aytar等人将时间序列之间的周期一致性用作验证工具，以优化表征学习中的超参数。Deniz等人将循环一致性和感知损失相结合，以提高图像恢复详细信息的质量。
[0007]尽管上述方法取得了令人满意的图像去模糊性能，但仍存在一些局限性。首先，现有的基于深度学习的图像去模糊方法存在解空间过大的问题。也就是说，他们没有有效的减少从模糊图像到清晰图像过程中存在的映射函数的解空间。因此，如何缩小去模糊模型的解空间成为一个重要的问题。其次，现有的大多数去模糊方法都依赖成对的模糊和清晰图像去进行训练。然而，在实际应用中，成对的训练数据可能并不总是充足的，并且成对的数据是不容易获得的。因此，有效地利用成对和非成对数据来提高去模糊性能是有必要的。最后，现有的图像去模糊方法忽略了对网络中间特征的约束。由于基于CNN的去模糊方法需要堆叠多个卷积层来逐步提取细腻的特征以生成清晰图像，因此对中间特征施加一些信息约束有利于增强其去模糊能力。

技术实现思路

[0008]本专利技术提供一种基于双闭环网络的图像去模糊方法，目的是得到更清晰的高质量图像，提出的方法适用于目标跟踪、目标识别、图像分析与理解等。
[0009]本专利技术采取的技术方案是，包括下列步骤：
[0010](1)向模型中读入一幅模糊图像x；
[0011](2)步骤(1)中的模型包括：一个主干网络I、一个转置网络II和两个辅助网络III，其中：
[0012]1)主干网络I是模型的第一个部分，该主干网络的体系结构包括两个主要阶段，第一阶段是一个称为编码器的图像压缩过程，它通过两个下采样模块捕获模糊图像x的上下文信息，第二阶段是一个称为解码器的对称扩展过程，它通过对编码器的特征进行上采样来获得清晰图像的特征图从而构建清晰的图像y，在解码器的上采样过程中，利用细粒度细节来重建清晰的图像y，为保留上下文信息，模型还加入了拼接机制，以连接编码器和解码器中的特征；
[0013]2)转置网络是模型的第二部分，将清晰的图像y映射到模糊的对应图像该网络
是一个与主干网络相对的模型，形成了一个双重学习的第一个闭环结构，从而减少模型的解空间，转置网络包括两个卷积层和M个残差通道注意力模块RCAB模块，用于估计浅层模糊核，并模拟模糊图像x生成的过程；
[0014]3)辅助网络是模型的第三部分，每个辅助网络包含两个卷积层、一个LeakyRelu函数和M个RCAB模块，能够实现在不同尺度下逐步提取恢复的清晰图像y的特征，然后，在主干网络的解码器获得的特征图和辅助网络获得的特征图添加额外的卷积层，以产生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双闭环网络的图像去模糊方法，其特征在于，包括下列步骤：(1)向模型中读入一幅模糊图像x；(2)步骤(1)中的模型包括：一个主干网络I、一个转置网络II和两个辅助网络III，其中：1)主干网络I是模型的第一个部分，该主干网络的体系结构包括两个主要阶段，第一阶段是一个称为编码器的图像压缩过程，它通过两个下采样模块捕获模糊图像x的上下文信息，第二阶段是一个称为解码器的对称扩展过程，它通过对编码器的特征进行上采样来获得清晰图像的特征图从而构建清晰的图像y，在解码器的上采样过程中，利用细粒度细节来重建清晰的图像y，为保留上下文信息，模型还加入了拼接机制，以连接编码器和解码器中的特征；2)转置网络是模型的第二部分，将清晰的图像y映射到模糊的对应图像该网络是一个与主干网络相对的模型，形成了一个双重学习的第一个闭环结构，从而减少模型的解空间，转置网络包括两个卷积层和M个残差通道注意力模块RCAB模块，用于估计浅层模糊核，并模拟模糊图像x生成的过程；3)辅助网络是模型的第三部分，每个辅助网络包含两个卷积层、一个LeakyRelu函数和M个RCAB模块，能够实现在不同尺度下逐步提取恢复的清晰图像y的特征，然后，在主干网络的解码器获得的特征图和辅助网络获得的特征图添加额外的卷积层，以产生相应比例的图像，即和通过设计一个损失函数使具有相同比例的图像相互监督，形成了第二个闭环，用于实现清晰图像的恢复，辅助网络仅用于约束主干网络中解码器部分的特征，这是因为主干网络中的编码器主要用于提取模糊图像的上下文信息，而清晰图像的细节信息主要由解码器生成；(3)通过扩展的损失函数优化模型1)主干网络的映射函数为G＝{X
→
Y}X是模糊图像集，Y为清晰图像集，{x
i
,y
i
}(i＝1,
…
,N)表示为成对训练样本集，其中x
i
和y
i
是第i对模糊和清晰图像；成对训练样本集损失函数L
G
(X,Y)表示如下：其中L1表示L1正则损失，即L1
‑
Norm，公式(1)由两项组成：第一个是用来使映射函数G生成与其对应的ground
‑
truth相似的清晰图像，第二个是使循环一致性损失，I为转置网络的映射函数通过模型的闭环结构使得x
i
和双映射后的x
i
、即I(G(x
i
))保持一致；2)转置网络的映射函数为I＝{Y
→
X}，则转置网络损失函数L
I
(X,Y)为：公式(2)中的第一项用于优化转置网络的映射函数I，第二项也是用于约束解空间的循环一致性损失。3)辅助网络的映射函数为Au
j
＝{y
→
y
j
,j＝1,2}，y
j
为辅助网络获得的1/2
j
尺度的图像集合，j＝1,2；则辅助网络损失函数L
Au
(X,Y)为：
其中，Au
j
(G(x
i
))和分别表示由辅助网络和主干网络解码器的特征生成的1/2尺度的图像；公式(3)可被视为一个自监督学习过程，该过程利用生成清晰图像的特征和从生成的清晰图像中提取的特征来实现相互监督，这不仅有助于利用清晰图像的细粒度信息，还有助于进一步缩小清晰图像生成的可能解空间；4)定义扩展的损失函数成对训练样本集总损失函数L
paired
(X,Y)为：L
paired...

【专利技术属性】
技术研发人员：孔俊，齐妙，王建中，张燕妮，
申请(专利权)人：东北师范大学，
类型：发明
国别省市：