一种基于卷积神经网络的图像运动模糊去除方法技术

本发明专利技术属于数字图像处理技术领域，具体为一种基于卷积神经网络的图像运动模糊去除方法。图像运动模糊去除技术用于图像清晰化与增强，消除在拍摄过程中，由于相机或物体相对运动所产生的图像重影、模糊、扭曲等现象，从而重建清晰的图片。本发明专利技术首先运用新型的卷积运算，空洞卷积，构建一个多尺度深度信息融合的深度神经网络系统；其次，进行数据准备与模型训练，当误差降低至某阈值，可认为网络收敛；最后，在应用阶段，将模糊图像输入系统，直接得到清晰图像。实验结果表明，给定一张运动模糊图片，本发明专利技术既能够清除越过边缘侵蚀的模糊模式，又能够合理的还原图像细节，得到与其对应的清晰图片。

A method of image motion blur removal based on convolution neural network

The invention belongs to the technical field of digital image processing, in particular to an image motion blur removal method based on convolution neural network. Image motion blurred removal technology is used for image sharpening and enhancement. In the process of shooting, the images are reconstructed because of the images, blurred and distorted images caused by the relative motion of the camera or object. The invention first uses a new convolution operation and cavitation convolution to construct a deep neural network system with multi scale depth information fusion. Secondly, the data preparation and model training are carried out. When the error is reduced to a certain threshold, the network convergence can be considered. Finally, the fuzzy image input system is directly obtained in the application stage. Clear images. The experimental results show that, given a motion blurred picture, the invention can not only remove the fuzzy pattern over the edge erosion, but also can restore the details of the image reasonably, and get the clear picture corresponding to it.

【技术实现步骤摘要】
一种基于卷积神经网络的图像运动模糊去除方法
本专利技术属于数字图像处理
，具体涉及图像运动模糊去除方法。
技术介绍
近年来，随着手持移动终端的普及，数字图片越来越多的来自于移动终端的拍摄。由于手持设备容易晃动，加之拍摄物体快速运动，运动模糊极易被引入，导致图像质量降低。图像运动模糊去除作为图像增强的一个研究分支，有着较高的科学研究价值与广泛的现实应用需要。图片模糊是由相机或是拍摄物体在曝光时间内的相对运动所造成的。其成因可以概括为公式如下：IB＝K*IS+N，其中，IB为已知模糊的图像，IS为待求的清晰图像，K为运动模糊核，“*”表示卷积运算，N表示随机噪声。传统的算法，如Szeliski等人的工作，往往对卷积核K有着过多的假设，例如假定运动模式、假设全局统一运动等等，应用Weiner滤波，Richardson-Lucy算法等技术还原清晰图像。由于该类算法对运动核的约束过于强，导致传统算法在人工生成的模糊图片集上性能优良，但对于真实模糊图片的效果不好。接下来，例如Schuler等人、Chakrabarti等人的工作，集中于弱化、取消对于K的假设，从模糊图像IB中求得模糊核K，再定义能量函数并对其进行优化，实现模糊图像去卷积的过程，产生清晰的图片。虽然改进算法相比传统算法，在自然模糊图片下具有更强的泛化能力，但是自然照片模糊核K十分复杂，无法做到精准的估计，成为了该类算法的瓶颈。最近随着卷积神经网络(CNNs)的发展，CNN的架构逐渐应用到解决图像去模糊的问题上。Sun等人提出了基于CNN估计模糊核、马尔科夫随机场建立稠密运动场的估计，优化能量函数的算法，缺点是预先给定了模糊核的集合(相当于对K进行约束)，使得模糊核离散化，估计的精度有限。Nah等人提出了端到端去模糊的CNN模型，但是其引入了过多的不同尺度分支，导致运行效率降低，将低分辨率的特征映射插值拉大，损失了细节信息。
技术实现思路
本专利技术的目的在于提出一种泛化能力强、运行效率高的图像运动模糊去除方法。本专利技术提出的图像运动模糊去除方法，是基于卷积神经网络的，其中，首次提出“空洞卷积”这种特殊卷积运算，扩大了感受野的范围；通过累加使用可代替池化层，使得感受野进一步扩展而不必缩放特征映射；并通过引入混合残差块，加深网络深度；本专利技术进一步提高了模型拟合能力；将低层次特征映射聚合至高层次，使得小尺度局部信息与大尺度全局信息相融合，从而使图片中不同尺度的模糊被模型感知而去除。本专利技术提出的基于卷积神经网络的图像运动模糊去除方法，包括深度神经网络模型的构建、训练数据的准备与模型训练、深度神经网络模型的使用三个阶段；具体步骤如下：(1)深度神经网络模型的构建本专利技术首先构建一个多尺度深度信息融合的深度神经网络模型，用以生成清晰图片。该模型由3个卷积层、7个空洞卷积层、9个混合残差块构成。其拓扑结构为：卷积层0→混合残差块0→空洞卷积层0→混合残差块1→空洞卷积层1→混合残差块2→空洞卷积层2→混合残差块3→空洞卷积层3→混合残差块4(+3)→空洞卷积层4→混合残差块5(+2)→空洞卷积层5→混合残差块6(+1)→空洞卷积层6→混合残差块7(+0)→卷积层1→混合残差块8→卷积层2→残差与输入融合→输出结果。其中，“→”符号表示神经网络层间连接，例如“A→B”表示A层输出数据作为B层输入。“混合残差块a(+b)”表示将“混合残差块b”的结果聚合到“混合残差块a”的结果中，二者一齐作为下一层的输入内容，例如，“混合残差块6(+1)”表示将“混合残差块1”的结果聚合到“混合残差块6”的结果中，二者一齐作为下一层的输入内容，其他同理。(2)训练数据的准备与模型训练假设数据集含有n组清晰-模糊图像对，即S＝{(ISi,IBi)}，i＝1,2,…n。ISi表示第i张清晰图像，IBi表示第i张模糊图像。将每张图片裁剪出数个96×96的子图，得到子图集合T＝{(IS′ij,IB′ij)}，i＝1,2,…n，j＝1,2,…m，m为每张图片裁得子图数量。再将T的每一个子图进行左右对称，旋转90度，颜色通道混排，下采样1、1/2、1/3、1/4。最终得到规模扩大96倍的子图集合T′，作为深度神经网络的训练集合，T＝{(IS″ij,IB″ij)}，i＝1,2,…n，j＝1,2,…96×m。以此数据集作为监督信息训练网络。(3)深度神经网络模型的使用对于一张待处理的模糊图像IB，直接将其输入经过训练的深度神经网络，得到的网络输出IS，即为清晰结果。本专利技术步骤(1)中，所述空洞卷积层中的空洞卷积为新定义的一种卷积运算，如公式(1)所示：其中，Ωi,j是图像中被滤波器覆盖的、以(i,j)为中心的边长为K的区域。K为奇数，表示空洞卷积的尺寸，空洞卷积的半径用l表示，卷积核是一个以(i,j)为中心，K为边长的正方形框以及中心；在公式(1)中，H为该卷积核系数展开的向量，左上角位置的参数记为H1，沿顺时针分别记作H1、H2…H4K-4，中心点参数记为H0。空洞卷积作为创新的卷积形式，相比于普通卷积，扩大了感受野的范围，减少了参数的数量。其经过多次堆叠使用可以代替池化层提取全局信息，使得特征映射不必缩小再扩大，进而避免细节信息的丢失。本专利技术步骤(1)中，一共有四处特征映射的聚合。分别为：1)混合残差块3与混合残差块4聚合，送入空洞卷积层4；2)混合残差块2与混合残差块5聚合，送入空洞卷积层5；3)混合残差块1与混合残差块6聚合，送入空洞卷积层6；4)混合残差块0与混合残差块7聚合，送入卷积层1。聚合使得浅层残差块与深层残差块结果相融合，将小尺度的局部精细的信息融合到大尺度的全局抽象的信息中，不同尺度的信息结合在一起，共同为产生结果发挥作用。本专利技术步骤(1)中，混合残差块的结构具体为：残差块包含输入信号、两个运算分支以及输出分支。第一分支经过一个Dropout层、四个卷积层，第二分支直接保留输入信号。两分支共同进入Sigmoid层，由神经网络学习出系数，将二者的信号混合得到最终的输出。公式为下式(2)所示：O(X)＝V(X，H(X))⊙H(X)+(1-V(X，H(X)))⊙X(2)其中，X代表输入信号，O(X)代表输出信号。H代表第一分支得到的卷积结果。V(X,H(X))代表根据由Sigmoid层学到的两个分支混合的比例。⊙代表各个维度均相同的矩阵对应位置进行点乘运算。该混合残差块加深了网络层数，提高拟合复杂函数的能力，同时由于保留了输入信号，缓解了梯度弥散、爆炸等问题。本专利技术实施例中，步骤(1)中，卷积层0输入为三通道，输出为64通道，卷积层2输入为64通道，输出为3通道，其他所有层或块，输出均为64通道。本专利技术实施例中，步骤(1)中，各个空洞卷积层的参数K分别为：在空洞卷积0中，K＝7，在空洞卷积1中，K＝11，在空洞卷积2中，K＝19，在空洞卷积3中，K＝27，在空洞卷积4中，K＝19，在空洞卷积5中，K＝11，在空洞卷积6中，K＝7。实验结果表明，给定一张运动模糊图片，本专利技术既能够清除越过边缘侵蚀的模糊模式，又能够合理的还原图像细节，得到与其对应的清晰图片。附图说明图1为本专利技术的流程图(整体网络)。图2为空洞卷积示意图。图3为混合残差块示意图。图4为本专利技术的处理结果对比图。其中，(a本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的图像运动模糊去除方法，其特征在于，包括深度神经网络模型的构建、训练数据的准备与模型训练、深度神经网络模型的使用三个阶段；具体步骤如下：(1)深度神经网络模型的构建构建一个多尺度深度信息融合的深度神经网络模型，用以生成清晰图片；该模型由3个卷积层、7个空洞卷积层、9个混合残差块构成；其拓扑结构为：第一卷积层0→第一混合残差块0→第一空洞卷积层0→第二混合残差块1→第二空洞卷积层1→第三混合残差块2→第三空洞卷积层2→第四混合残差块3→第四空洞卷积层3→第五混合残差块4(+3)→第五空洞卷积层4→第六混合残差块5(+2)→第六空洞卷积层5→第七混合残差块6(+1)→第七空洞卷积层6→第八混合残差块7(+0)→第二卷积层1→第九混合残差块8→第三卷积层2→残差与输入融合→输出结果；其中，“→”符号表示神经网络层间连接，“A→B”表示A层输出数据作为B层输入；“混合残差块a(+b)”表示将“混合残差块b”的结果聚合到“混合残差块a”的结果中，二者一齐作为下一层的输入内容；(2)训练数据的准备与模型训练假设数据集含有n组清晰‑模糊图像对，即S＝{(ISi,IBi)}，i＝1,2,…n；ISi表示第i张清晰图像，IBi表示第i张模糊图像；将每张图片裁剪出数个96×96的子图，得到子图集合T＝{(IS′ij,IB′ij)}，i＝1,2,…n，j＝1,2,…m，m为每张图片裁得子图数量；再将T的每一个子图进行左右对称，旋转90度，颜色通道混排，下采样1、1/2、1/3、1/4；最终得到规模扩大96倍的子图集合T′，作为深度神经网络的训练集合，T＝{(IS″ij,IB″ij)}，i＝1,2,…n，j＝1,2,…96×m；以此数据集作为监督信息训练网络；(3)深度神经网络模型的使用对于一张待处理的模糊图像IB，直接将其输入经过训练的深度神经网络，得到的网络输出IS，即为清晰结果；步骤(1)中，所述空洞卷积层中的空洞卷积的定义如公式(1)所示：...

【技术特征摘要】
1.一种基于卷积神经网络的图像运动模糊去除方法，其特征在于，包括深度神经网络模型的构建、训练数据的准备与模型训练、深度神经网络模型的使用三个阶段；具体步骤如下：(1)深度神经网络模型的构建构建一个多尺度深度信息融合的深度神经网络模型，用以生成清晰图片；该模型由3个卷积层、7个空洞卷积层、9个混合残差块构成；其拓扑结构为：第一卷积层0→第一混合残差块0→第一空洞卷积层0→第二混合残差块1→第二空洞卷积层1→第三混合残差块2→第三空洞卷积层2→第四混合残差块3→第四空洞卷积层3→第五混合残差块4(+3)→第五空洞卷积层4→第六混合残差块5(+2)→第六空洞卷积层5→第七混合残差块6(+1)→第七空洞卷积层6→第八混合残差块7(+0)→第二卷积层1→第九混合残差块8→第三卷积层2→残差与输入融合→输出结果；其中，“→”符号表示神经网络层间连接，“A→B”表示A层输出数据作为B层输入；“混合残差块a(+b)”表示将“混合残差块b”的结果聚合到“混合残差块a”的结果中，二者一齐作为下一层的输入内容；(2)训练数据的准备与模型训练假设数据集含有n组清晰-模糊图像对，即S＝{(ISi,IBi)}，i＝1,2,…n；ISi表示第i张清晰图像，IBi表示第i张模糊图像；将每张图片裁剪出数个96×96的子图，得到子图集合T＝{(IS′ij,IB′ij)}，i＝1,2,…n，j＝1,2,…m，m为每张图片裁得子图数量；再将T的每一个子图进行左右对称，旋转90度，颜色通道混排，下采样1、1/2、1/3、1/4；最终得到规模扩大96倍的子图集合T′，作为深度神经网络的训练集合，T＝{(IS″ij,IB″ij)}，i＝1,2,…n，j＝1,2,…96×m；以此数据集作为监督信息训练网络；(3)深度神经网络模型的使用对于一张待处理的模糊图像IB，直接将其输入经过训练的深度神经网络，得到的网络输出IS，即为清晰结果；步骤(1)中，所述空洞卷积层中的空洞卷积的定义如公式(1)所示：其中，Ωi,j是图像中被滤波器覆盖的、以(i,j)为中心的边长为K的区域，K为...

【专利技术属性】
技术研发人员：颜波，李可，李吉春，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31