一种基于Bi-Skip-Net的图像去模糊算法制造技术

本发明专利技术涉及数字图像处理领域，特别一种基于Bi‑Skip‑Net的图像去模糊方法,是一种Bi‑Skip‑Net网络来实现模糊图像复原,旨在解决现有深度学习去模糊算法存在的时间复杂度高、纹理恢复不准确、复原图像存在方格效应等问题。本发明专利技术公开的一种Bi‑Skip‑Net网络来作为GAN(Generative Adversarial Network)的生成网络，旨在解决现有深度学习去模糊算法存在的缺点,通过对比现有最优算法，本发明专利技术在时间复杂度上提升了0.1s，在图像复图像原性能上平均提升了1dB。

An image deblurring algorithm based on Bi-Skip-Net

The invention relates to the field of digital image processing, in particular to an image deblurring method based on Bi Skip Net, which is a Bi Skip Net network to realize blurred image restoration, aiming at solving the problems of high time complexity, inaccurate texture restoration and grid effect in existing deep learning deblurring algorithms. The invention discloses a Bi Skip Net network as a generation network of GAN (Generative Adversarial Network), aiming at solving the shortcomings of the existing deep learning de-blurring algorithm. By comparing with the existing optimal algorithm, the invention improves the time complexity by 0.1s and the image restoration performance by an average of 1dB.

【技术实现步骤摘要】
一种基于Bi-Skip-Net的图像去模糊算法
本专利技术涉及数字图像处理领域，特别是一种基于Bi-Skip-Net的图像去模糊方法，该方法是通过Bi-Skip-Net网络来实现模糊图像复原。技术背景去模糊技术是图像和视频处理领域被广泛研究的主题。基于相机抖动造成的模糊在一定意义上严重影响图像的成像质量，视觉观感。作为图像预处理领域一个及其重要的分支，去模糊技术的提升直接影响其他计算机视觉算法的性能，如前景分割，物体检测，行为分析等；同时它也影响着图像的编码性能。因此，研究一种高性能的去模糊算法势在必行。文献1-3介绍了图像和视频处理的去模糊技术，深度学习去模糊算法；文献1：KupynO,BudzanV,MykhailychM,etal.DeblurGAN:BlindMotionDeblurringUsingConditionalAdversarialNetworks[J].arXivpreprintarXiv:1711.07064,2017。文献2：NahS,KimTH,LeeKM.Deepmulti-scaleconvolutionalneuralnetworkfordynamicscenedeblurring[C]//CVPR.2017,1(2):3。文献3：SunJ,CaoW,XuZ,etal.Learningaconvolutionalneuralnetworkfornon-uniformmotionblurremoval[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2015:769-777.。一般来说，图像去模糊算法可以分为基于概率模型的传统算法和基于深度学习的去模糊算法。传统算法采用卷积模型来解释模糊成因，相机抖动的过程可以映射为模糊核轨迹PSF(PointSpreadFunction)。在模糊核未知的情况下还原清晰图像，这一问题属于不适定(ill-posed)问题，所以通常意义上需要先估计模糊核，再利用评估的模糊核进行返卷积操作得到复原图像。基于深度学习的去模糊算法则利用深层网络结构获取图像的潜在信息，进而实现模糊图像复原。深度学习去模糊算法可以实现模糊核估计和非盲反卷积两个操作来进行图像复原，同时也可以采用生成对抗机制来复原图像。本专利旨在解决去模糊算法存在的缺点：1)时间复杂度高,2)纹理恢复不准确,3)复原图像存在方格效应。
技术实现思路
本专利技术提出了一种Bi-Skip-Net网络来作为GAN(GenerativeAdversarialNetwork)的生成网络，旨在解决现有深度学习去模糊算法存在的缺点。通过对比现有最优算法，本专利技术在时间复杂度上提升了0.1s，在图像复图像原性能上平均提升了1dB。本专利技术提供的技术方案如下：(注：需要用自然语言对技术方案进行说明，不能用“如图”这样的叙述方式，方法技术方案最好按：步骤1：步骤2…的方式撰写)本专利技术采用生成对抗网络机制来实现模糊图像复原，并设计了一种Bi-Skip-Net网络来作为其中的生成器。具体步骤如下：1)：输入模糊图像，通过卷积核尺寸为7x7，步长为1的卷积层得到浅层特征；2)：将浅层特征通过3个残差块得到当前尺度下的深度特征；3)：将深度特征进行下采样加残差的模式得到下一个尺度下的浅层特征；4)：按照规定的下采样次数n，重复步骤2，3获取不同尺度下的浅层特征和深度特征，并且在最小尺度下不获取深度特征；5)：将最小尺度的浅层特征作为基本特征；6)：将上一层尺度的浅层特征经过卷积核大小为1x1，步长为1的卷积层得到浅层降维特征；将对应的深度特征经过卷积核大小为3x3，步长为2的卷积层得到深度降维特征，并与基本特征串联进行上采样；将上采样后的特征与浅层降维特征进行串联得到当前尺度下的基本特征；7)：重复步骤6直到采样操作截止；8)：将得到的基本特征经过卷积核大小为7x7,步长为1的卷积层得到残差特征；9)：将残差特征与输入图像相加得到复原图像；…采用Bi-Skip-Net加残差的模式来作为生成器。步骤4)中，按照规定的下采样次数为5。其中，模糊图像通过生成器来获得复原图像，判别的任务为尽可能区分复原图像和清晰图像；而生成器的任务为尽可能欺骗判别器来降低对两种图像的区分的能力。所述的Bi-Skip-Net网络由三部分组成：contract路径(D)，Skip路径(S)以及expand路径(U)。Contract层进行下采样实现特征压缩，Skip层用于连接深层特征与浅层特征，expand层进行上采样。其中D*，S*，U*为对应下采样尺度下的特征。所述的采样尺度下的特征操作，在contract路径，当前特征通过3个残差块(3xResBlock)来获得深层特征，并采用池化(pooling)和卷积相加的残差模式来获取下一尺度的特征；在Skip路径，通过1x1的卷积来对压缩浅层特征，通过3x3的卷积来压缩深度特征；在expand路径，通过concat来实现特征连接，并通过3x3的反卷积实现特征上采样。本专利技术具有如下技术效果：由于本专利技术采用了Bi-Skip-Net网络来作为GAN(GenerativeAdversarialNetwork)的生成网络与现有技术相比具有以下技术效果：1、时间复杂度低；对比传统方法，传统的去运动模糊方法采用模糊核估计和非盲反卷积两个步骤，而这两个步骤均需进行多次迭代才能达到较好的复原效果，正因如此，也造成处理单张运动模糊图像的时间较长；而本专利技术设计的模型可以避免多次迭代优化造成的时间损耗。2、纹理恢复准确；对比传统方法，在传统方法中，模糊核估计不准确会造成复原过程中图像信息的错误恢复，而非盲反卷操作经常会造成纹理部分出现振铃效应；本专利技术设计的双跨连接网络在每一层尺度上都提取了深度特征和浅层特征，通过特征连接，网络在一定程度可以恢复更多的细节信息。3、复原图像不存在方格效应，对比现存的深度学习方法，现存的多数深度学习方法在上采样过程中采用反卷积层来实现，而由于每次反卷积都存在一定的锯齿效应，这使得最后的复原图像也存在一些锯齿，即本专利技术提到的方格效应。为了更好地理解本专利技术的构思和原理，下面结合附图和实施例，对本专利技术进行详细的描述。但具体实施例的描述不以任何方式限制本专利技术的保护范围。附图说明图1为本专利技术的生成对抗网络机制；图2为本专利技术的Bi-Skip-Net网络结构图；图3为本专利技术的一个采样尺度下的特征操作；图4生成器设计：Bi-Skip-Net+残差；图5a-d为本专利技术与其它算法的主观对比；其中，图5a：模糊图像；图5b：Nah等人的复原效果；图5c：Kupyn等人的复原效果；图5d：Bi-Skip-Net的复原效果。具体实施方式图1为本专利技术采用的生成对抗网络机制。其中，模糊图像通过生成器来获得复原图像，判别的任务为尽可能区分复原图像和清晰图像；而生成器的任务为尽可能欺骗判别器来降低对两种图像的区分的能力。本专利技术实施例的具体步骤如下：(1)设计生成器和判别器，原理如图4所示，是建筑物的模糊图像通过Bi-Skip-Net生成器，而得到清晰的建筑物图片；其他任何模糊图像都可以用这个模型生成清晰的图片。(2)采用如下本文档来自技高网...

【技术保护点】
1.一种基于Bi‑Skip‑Net的图像去模糊方法，包括如下步骤：1)输入模糊图像，通过卷积核尺寸为7x7，步长为1的卷积层得到浅层特征；2)将浅层特征通过3个残差块得到当前尺度下的深度特征；3)将深度特征进行下采样加残差的模式得到下一个尺度下的浅层特征；4)按照规定的下采样次数n，重复步骤2，3获取不同尺度下的浅层特征和深度特征，并且在最小尺度下不获取深度特征；5)将最小尺度的浅层特征作为基本特征；6)将上一层尺度的浅层特征经过卷积核大小为1x1，步长为1的卷积层得到浅层降维特征；将对应的深度特征经过卷积核大小为3x3，步长为2的卷积层得到深度降维特征，并与基本特征串联进行上采样；将上采样后的特征与浅层降维特征进行串联得到当前尺度下的基本特征；7)重复步骤6直到采样操作截止；8)将得到的基本特征经过卷积核大小为7x7,步长为1的卷积层得到残差特征；9)将残差特征与输入图像相加得到复原图像；10)采用Bi‑Skip‑Net加残差的模式作为生成器。

【技术特征摘要】
1.一种基于Bi-Skip-Net的图像去模糊方法，包括如下步骤：1)输入模糊图像，通过卷积核尺寸为7x7，步长为1的卷积层得到浅层特征；2)将浅层特征通过3个残差块得到当前尺度下的深度特征；3)将深度特征进行下采样加残差的模式得到下一个尺度下的浅层特征；4)按照规定的下采样次数n，重复步骤2，3获取不同尺度下的浅层特征和深度特征，并且在最小尺度下不获取深度特征；5)将最小尺度的浅层特征作为基本特征；6)将上一层尺度的浅层特征经过卷积核大小为1x1，步长为1的卷积层得到浅层降维特征；将对应的深度特征经过卷积核大小为3x3，步长为2的卷积层得到深度降维特征，并与基本特征串联进行上采样；将上采样后的特征与浅层降维特征进行串联得到当前尺度下的基本特征；7)重复步骤6直到采样操作截止；8)将得到的基本特征经过卷积核大小为7x7,步长为1的卷积层得到残差特征；9)将残差特征与输入图像相加得到复原图像；10)采用Bi-Skip-Net加残差的模式作为生成器。2.根据权利要求1所述的图像去模糊方法，其特征在于：步骤4)按照规定的下采样次数为5。3.根据权利要求1所述的图像去模糊方法，其特征在于：所述的Bi-Skip-Net网络由三部分组成...

【专利技术属性】
技术研发人员：李革，张毅伟，王荣刚，王文敏，高文，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东,44