基于Scale-Encoder-Decoder-Net网络的图像去模糊方法技术

本发明专利技术属于数字图像处理领域，涉及一种基于Scale‑Encoder‑Decoder‑Net的图像去模糊方法。该方法利用Scale‑Encoder‑Decoder‑Net网络实现模糊图像复原,目的在于解决现存深度学习去模糊算法存在的复原时间长、图像细节恢复效果较差等问题。本发明专利技术提出了Scale‑Encoder‑Decoder‑Net网络，旨在解决现有深度学习去模糊算法存在的缺点,通过对比现有最优算法，本发明专利技术在复原时间上提升了0.12s，在复原图像性能上平均提升了0.8dB。

【技术实现步骤摘要】
基于Scale-Encoder-Decoder-Net网络的图像去模糊方法
本专利技术属于数字图像处理领域，涉及一种基于Scale-Encoder-Decoder-Net网络的图像去模糊方法。
技术介绍
在智能手机、相机等摄影设备广泛普及的今天，拍照成为人们定格瞬间、记录生活的重要方式。当手持拍摄时，无论是使用手机、卡片机，还是专业单反相机，都很容易由于相机的抖动而产生不同程度的模糊，模糊在一定意义上严重影响图像的成像质量，带来糟糕的视觉观感。图像去模糊技术是图像和视频处理中图像预处理的重要技术。在模糊程度高的数据上，人脸识别、车牌识别、车辆识别、行人检测等人工智能算法的准确性会有显著下降。如果能够先用图像去模糊技术复原出相应的清晰图像，再将清晰图像作为上述人工智能算法的输入，算法输出结果的准确性会大大提高。同时图像去模糊技术也影响着图像的编码性能。因此，研究一种高效的图像去模糊算法具有很大的价值。文献1-2介绍了图像去模糊技术，深度学习去模糊算法；文献1：NahS,KimTH,LeeKM.Deepmulti-scaleconvolutionalneuralnetworkfordynamicscenedeblurring[C]//CVPR.2017,1(2):3。文献2：KupynO,BudzanV,MykhailychM,etal.DeblurGAN:BlindMotionDeblurringUsingConditionalAdversarialNetworks[J].arXivpreprintarXiv:1711.07064,2017。一般来说，图像去模糊算法可以分为基于数字图像处理领域的传统去模糊算法和基于深度学习的去模糊算法。传统算法以卷积模型为模糊原因，将相机抖动产生模糊图像视为模糊核对清晰图像卷积的过程。在模糊核未知的情况下还原清晰图像，这一问题称为不适定(ill-posed)问题，或者称为逆问题(InverseProblem)。所以通常需要先对模糊核进行估计，再利用估计的模糊核进行反卷积操作得到复原图像。基于深度学习的去模糊算法则利用深层网络结构获取图像的深层特征信息，从而实现模糊图像的复原。深度学习去模糊算法可以实现模糊核估计和非盲反卷积两个操作来进行图像复原，同时也可以采用端到端(End-to-End)的方式进行盲去模糊，从而实现模糊图像的复原。本专利旨在解决去模糊算法存在的缺点：1)复原时间长2)图像细节恢复效果较差。
技术实现思路
要解决的技术问题为了避免现有技术的不足之处，本专利技术提出一种基于Scale-Encoder-Decoder-Net网络的图像去模糊方法，旨在解决现有深度学习去模糊算法存在的缺点,通过对比现有最优算法，本专利技术在时间复杂度上提升了0.12s，在复原图像性能上平均提升了0.8dB。技术方案一种基于Scale-Encoder-Decoder-Net网络的图像去模糊方法，其特征在于：Scale-Encoder-Decoder-Net网络共有三部分：Scale尺度，Encoder编码和Decoder解码；每一尺度网络包括1个输入块、2个编码块、1个解码块和一个输出块；采用损失函数训练网络，其中，Ii和代表第i尺度的清晰图像和复原图像，Ni代表第i尺度的图像像素个数：去模糊步骤如下：步骤1：以第n尺度的模糊图像作为输入，通过卷积核尺寸为5x5，卷积核个数为32、步长为1的卷积层输出浅层特征；步骤2：卷积层输出的浅层特征通过3个残差块得到输入块的深度特征；步骤3：将输入块输出的深度特征通过卷积核尺寸为5x5，卷积核个数为64、步长为2的卷积层下采样为编码块1的浅层特征；步骤4：编码块1的浅层特征通过3个残差块得到编码块1的深层特征；将编码块1输出的深度特征通过卷积核尺寸为5x5，卷积核个数为128、步长为2的卷积层下采样为编码块2的浅层特征；步骤5：编码块2的浅层特征通过3个残差块得到编码块2的深层特征；编码块2的深层特征通过解码块1的3个残差块，获得基本特征，并经过解码块1的卷积核尺寸为4x4，卷积核个数为64、步长为2的卷积层上采样且降维，得到解码块1的降维特征；步骤6：解码块1的降维特征和编码块1的深层特征共同作为解码块2的输入，通过解码块2的3个残差块，进一步压缩特征，并经过解码块2的卷积核尺寸为4x4，卷积核个数为32、步长为2的卷积层上采样且降维，得到解码块2的降维特征；步骤7：解码块2的降维特征和编码块2的深层特征共同作为输出块的输入，通过输出块的3个残差块，并经过输出块的卷积核尺寸为5x5，卷积核个数为3、步长为1的卷积层输出该尺度的复原图像；步骤8：第n层尺度的复原图像经过上采样，与第n-1层尺度的模糊图像共同作为第n-1层尺度的输入，并重复步骤1-9，直到尺度n为1为止；步骤10：尺度为1时，复原图像为Scale-Encoder-Decoder-Net网络最终复原图像。所述第n尺度图像尺寸为第n+1尺度图像尺寸的两倍，第1尺度图像尺寸最大，为原始模糊图像的大小。有益效果本专利技术提出的一种基于Scale-Encoder-Decoder-Net网络的图像去模糊方法，采用Scale-Encoder-Decoder-Net网络作为图像去模糊的复原网络与现有技术相比有如下技术效果：1.复原时间短传统的图像去模糊方法需要经过模糊核的估计和根据估计的模糊核反卷积复原两个过程，因此单帧图像去模糊的算法运行时间缓慢。基于Scale-Encoder-Decoder-Net网络的图像去模糊算法采用盲去模糊和端到端的方式，减少了算法的复原时间。2.图像细节恢复效果好对比传统方法，传统方法中图像去模糊的效果严重依赖估计的模糊核，若模糊核估计的不准确，图像细节恢复效果则会很差。基于Scale-Encoder-Decoder-Net网络的图像去模糊算法通过连接Encoder编码和Decoder解码，实现了不同层次特征的连接，从而带来了很好的图像细节恢复效果。附图说明图1为本专利技术的图像去模糊机制；图2为本专利技术的Scale-Encoder-Decoder-Net网络结构；图3a-d为本专利技术与其他算法的复原效果对比；图3a：模糊图像；图3b：Nah等人的复原效果；图3c：Kupyn等人的复原效果；图3d：Scale-Encoder-Decoder-Net的复原效果。具体实施方式现结合实施例、附图对本专利技术作进一步描述：本专利技术采用Scale-Encoder-Decoder-Net网络实现图像去模糊，Scale-Encoder-Decoder-Net网络共有三部分：Scale尺度，Encoder编码和Decoder解码；不同的Scale尺度之间图像大小不同，尺度较大可实现复原模糊图像的全局信息，尺度较小可实现复原模糊图像的局部信息；E本文档来自技高网...

【技术保护点】
1.一种基于Scale-Encoder-Decoder-Net网络的图像去模糊方法，其特征在于：Scale-Encoder-Decoder-Net网络共有三部分：Scale尺度，Encoder编码和Decoder解码；每一尺度网络包括1个输入块、2个编码块、1个解码块和一个输出块；采用损失函数

【技术特征摘要】
1.一种基于Scale-Encoder-Decoder-Net网络的图像去模糊方法，其特征在于：Scale-Encoder-Decoder-Net网络共有三部分：Scale尺度，Encoder编码和Decoder解码；每一尺度网络包括1个输入块、2个编码块、1个解码块和一个输出块；采用损失函数训练网络，其中，Ii和代表第i尺度的清晰图像和复原图像，Ni代表第i尺度的图像像素个数：去模糊步骤如下：
步骤1：以第n尺度的模糊图像作为输入，通过卷积核尺寸为5x5，卷积核个数为32、步长为1的卷积层输出浅层特征；
步骤2：卷积层输出的浅层特征通过3个残差块得到输入块的深度特征；
步骤3：将输入块输出的深度特征通过卷积核尺寸为5x5，卷积核个数为64、步长为2的卷积层下采样为编码块1的浅层特征；
步骤4：编码块1的浅层特征通过3个残差块得到编码块1的深层特征；将编码块1输出的深度特征通过卷积核尺寸为5x5，卷积核个数为128、步长为2的卷积层下采样为编码块2的浅层特征；
步骤5：编码块2的浅层特征通过3个残差块得到编码块2的深层特征；编码块2的深层特征通过解码块1的3个残差块，获...

【专利技术属性】
技术研发人员：杨宁，秦毅杰，郭雷，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61