一种基于融合网络的图像超分辨率及去非均匀模糊方法技术

本发明专利技术公开了一种基于深度特征融合网络的自然图像超分辨率及去非均匀运动模糊方法，该方法首次实现了基于深度神经网络对低分辨率非均匀运动模糊图像进行恢复。该网络采用两个分支模块分别提取用于图像超分辨和去非均匀模糊的特征，并通过一个可以训练的特征融合模块对两个特征提取分支的输出实现自适应融合。最终上采样重建模块实现去非均匀运动模糊和超分辨率任务。本方法利用自行生成的训练数据集对网络进行离线训练，从而实现对任何输入尺寸的低分辨率非均匀运动模糊图像进行恢复。该方法训练难度低，效果好，并且计算效率极高，非常适用于针对移动设备、监控设备拍摄图像的恢复和增强等应用。

【技术实现步骤摘要】
一种基于融合网络的图像超分辨率及去非均匀模糊方法
本专利技术属于计算机视觉与图像处理领域，特别涉及一种基于融合网络的图像超分辨率及去非均匀模糊方法。
技术介绍
图像超分辨率是计算机视觉应用中的一类基础任务。其目的是从低分辨率图像还原出高分辨率图像，并且提升图像质量和恢复出图像细节信息。它不仅可以生成令人满意的高分辨率的图像，同时也可以为类似目标检测、人脸识别等更深层次图像处理过程提供更高品质的图像源。然而，自然图像中存在着不同深度的运动物体以及运动遮挡现象，因此真实低分辨率图像中往往还存在着非均匀运动模糊现象，这些都会严重影响到超分辨算法的研究。不同于均匀运动模糊图像，非均匀运动模糊的图像由一段清晰的视频中的相邻帧融合而成，其融合过程如公式1所示：其中M表示用来生成非均匀运动模糊的连续图像帧的数量，表示相机采集的第i帧图像。g表示相机响应函数，用来表示感光元件接收亮度与采集图像像素值之间的映射关系，其近似关系入公式2所示：g(x)＝x1/γ(2)在此基础上，低分辨率的非均匀运动模糊图像Lblur通过对公式1中的模糊图像Hblur通过降采样获得，如公式3所示：Lblur＝D(Hblur)(3)其中D表示降采样插值算法。根据上述公式可以看出，低分辨率的非均匀运动模糊图像是由两种退化模型叠加而成，由单帧低分辨率的非均匀运动模糊图像恢复出高分辨率的清晰图像是一个高度病态问题。因此现有相关研究中，往往将图像超分辨率和图像去非均匀运动模糊当成两个独立问题进行研究。图像去非均匀运动模糊是一种从高度复杂模糊的图像还原出清晰图像的方法，非均匀运动模糊考虑了现实成像环境中存在的运动物体深度不同以及运动遮挡现象，是一种相较均匀运动模糊更加复杂的图像退化模型。近年来随着深度神经网络技术的成熟，去非均匀运动模糊的研究取得重大进展。但当处理图像同时存在上述两种退化模型时，这些算法虽然可以去除模糊现象，却无法对提升图像分辨率并对细节信息进行恢复，使得输出图像质量无法满足预期效果。同样地，现有超分辨算法无法有效消除图像中的运动模糊现象，导致生成的高分辨率图像仍然存在着严重模糊区域。现有实现超分辨并去去非均匀运动模糊的方法包括：(1)简单串联法，即将处理两类任务的方法进行简单串联，首先处理一种退化模型，并将结果作为另一种方法的输入，进而消除第二种退化模型。该方法的缺陷主要在于，简单串联的方法并不能确保获得问题最优解，因为第一种方法所带来的误差将会在第二种方法中被进一步放大。此外，串行的连接使得第一种方法中的中间特征无法在第二种方法中被有效复用，使得运行效率较低。(2)端到端的深度神经网络训练法。该类方法利用深度神经网络强大的学习能力，通过大量训练样本使网络具备同时超分辨并去运动模糊的能力。该类方法的代表文献为[1,2].但这些方法都集中在处理均匀运动模糊[1]或者高斯模糊[2]，当应用在更为复杂的非均匀运动模糊场景，其结果远远不能满足实际应用需求。
技术实现思路
本专利技术的目的在于提供一种基于深度特征融合网络的自然图像超分辨率及去非均匀运动模糊方法，以解决上述问题。为实现上述目的，本专利技术采用以下技术方案：一种基于融合网络的图像超分辨率及去非均匀模糊方法，包括以下步骤：步骤一：对原始视频进行预处理，获取图像训练数据集：将高速运动相机采集到的若干段视频，转换为多对空间位置对齐的图像块三元组{lblur，l，h}，其中lblur表示低分辨率下的非均匀运动模糊图像块，作为神经网络训练的输入；l和h分别表示低分辨率的清晰图像块和高分辨率的清晰图像块，作为神经网络训练中不同分支的真值；步骤二：搭建深度神经网络：神经网络采用两个分支模块分别提取用于图像超分辨和去非均匀模糊的特征，并通过一个能够训练的特征融合模块对两个分支提取的特征进行自适应融合；最后通过一个上采样重建模块实现超分辨率及去非均匀运动模糊任务；步骤三：模型训练：利用步骤一得到的训练集图像块三元组对搭建好的神经网络进行权重更新，获得用于恢复低分辨率非均匀运动模糊图像的网络模型；步骤四：模型测试：将待处理低分辨率非均匀运动模糊图像进行预处理，并输入训练好神经网络模型得到高分辨率的清晰图像。进一步的，步骤一中图像块三元组的具体生成过程为：1)从多段现实场景视频中随机采样N帧图像，作为训练集真值图像集H；针对真值图像集中每一帧图像Hi，以该帧为中心采样包括其在内的相邻M帧图像形成图像集T，T＝{Hi-(M-1)/2…，Hi…，Hi+(M-1)/2}，其中下标表示该图像所处帧数。并根据公式将图像集生成高分辨率模糊图像集Hblur；其中M表示用来生成非均匀运动模糊的连续图像帧的数量，Hi表示相机采集的第i帧图像，g表示相机响应函数，用来表示感光元件接收亮度与采集图像像素值之间的映射关系，其近似函数为g(x)＝x1/γ。2)针对上一步中生成的N组高分辨率清晰/模糊图像对{H，Hblur}，对每一组图像对以{0.5,0.7,1}三种缩放尺度进行降采样，得到3*N组高分辨率清晰/模糊图像对；针对扩展后的图像对，采用步长为S的滑动窗口方式截取大小为M*M的图像块集合；针对其中每一组高分辨率图像块对{h，hblur}，采用公式L＝D(H)进行降采样得到低分辨率图像块对{l，lblur}，其中D表示降采样插值算法，H表示高分辨率图像，L表示降采样后得到的低分辨率图像；并最终获得步骤一所述的图像块三元组{lblur，l，h}；降采样法均采用双三次插值降采样法。进一步的，步骤二中，用来提取去模糊特征的神经网络模块采取编码-解码结构；编码-解码结构模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块、两个下采样卷积层和两个反卷积层串联构成，其中间特征具有三个尺度；同时编码-解码结构中相同尺度特征间存在多个跳接架构；编码-解码结构模块的输出为去模糊特征Φdeblur；编码-解码结构后还接入一个由两个卷积层构成的像素回归网络，生成低分辨率清晰图像进一步的，步骤二中，用来提取超分辨特征的模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块构成；该分支模块的输出为超分辨特征ΦSRF。进一步的，步骤二中，特征融合模块包含两个卷积层，通过输出逐点融合权重对两个分支提取的特征进行自适应融合；具体地，该模块以{lblur，ΦSRF，Φdeblur}为输入，以如下公式对ΦSRF，Φdeblur进行自适应融合：其中Gfusion表示特征融合模块网络，表示逐元素乘法。进一步的，步骤二中，上采样重建模块以融合后的特征Φdeblur为输入，采用若干个移除BN层的残差网络块对特征进行进一步优化和提炼，并通过两个像素置换层和若干个卷积层实现高分辨率清晰图像的恢复。进一步的，步骤三中，网络训练所用的损失函数定义为：其中LSR和Ldeblur分别表示上采样重建模块和去模糊模块的输出误差，两者均采用均方误差MSE函数来计算输出网络输出与真值间的距离，α为两个损失间的权重。进一步的，训练步骤二的模型时采用了两阶段训练的策略；第一阶段训练过程中，将特征融合网络获得的逐点融合权重强制为1，并更新除特征融合模块外的所有部分；第二阶段训练过程中，取消上述对权重的限制，并在一阶段训练基础上，连同特征融合模块对整个网络进行再训练；整本文档来自技高网...

【技术保护点】
1.一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，包括以下步骤：步骤一：对原始视频进行预处理，获取图像训练数据集：将高速运动相机采集到的若干段视频，转换为多对空间位置对齐的图像块三元组{lblur，l，h}，其中lblur表示低分辨率下的非均匀运动模糊图像块，作为神经网络训练的输入；l和h分别表示低分辨率的清晰图像块和高分辨率的清晰图像块，作为神经网络训练中不同分支的真值；步骤二：搭建深度神经网络：神经网络采用两个分支模块分别提取用于图像超分辨和去非均匀模糊的特征，并通过一个能够训练的特征融合模块对两个分支提取的特征进行自适应融合；最后通过一个上采样重建模块实现超分辨率及去非均匀运动模糊任务；步骤三：模型训练：利用步骤一得到的训练集图像块三元组对搭建好的神经网络进行权重更新，获得用于恢复低分辨率非均匀运动模糊图像的网络模型；步骤四：模型测试：将待处理低分辨率非均匀运动模糊图像进行预处理，并输入训练好神经网络模型得到高分辨率的清晰图像。

【技术特征摘要】
1.一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，包括以下步骤：步骤一：对原始视频进行预处理，获取图像训练数据集：将高速运动相机采集到的若干段视频，转换为多对空间位置对齐的图像块三元组{lblur，l，h}，其中lblur表示低分辨率下的非均匀运动模糊图像块，作为神经网络训练的输入；l和h分别表示低分辨率的清晰图像块和高分辨率的清晰图像块，作为神经网络训练中不同分支的真值；步骤二：搭建深度神经网络：神经网络采用两个分支模块分别提取用于图像超分辨和去非均匀模糊的特征，并通过一个能够训练的特征融合模块对两个分支提取的特征进行自适应融合；最后通过一个上采样重建模块实现超分辨率及去非均匀运动模糊任务；步骤三：模型训练：利用步骤一得到的训练集图像块三元组对搭建好的神经网络进行权重更新，获得用于恢复低分辨率非均匀运动模糊图像的网络模型；步骤四：模型测试：将待处理低分辨率非均匀运动模糊图像进行预处理，并输入训练好神经网络模型得到高分辨率的清晰图像。2.根据权利要求1所述的一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，步骤一中图像块三元组的具体生成过程为：1)从多段现实场景视频中随机采样N帧图像，作为训练集真值图像集H；针对真值图像集中每一帧图像Hi，以该帧为中心采样包括其在内的相邻M帧图像形成图像集T，T＝{Hi-(M-1)/2…，Hi…，Hi+(M-1)/2}，其中下标表示该图像所处帧数；并根据公式将图像集生成高分辨率模糊图像集Hblur；其中M表示用来生成非均匀运动模糊的连续图像帧的数量，Hi表示相机采集的第i帧图像，g表示相机响应函数，用来表示感光元件接收亮度与采集图像像素值之间的映射关系，其近似函数为g(x)＝x1/γ；2)针对上一步中生成的N组高分辨率清晰/模糊图像对{H，Hblur}，对每一组图像对以{0.5,0.7,1}三种缩放尺度进行降采样，得到3*N组高分辨率清晰/模糊图像对；针对扩展后的图像对，采用步长为S的滑动窗口方式截取大小为M*M的图像块集合；针对其中每一组高分辨率图像块对{h，hblur}，采用公式L＝D(H)进行降采样得到低分辨率图像块对{l，lblur}，其中D表示降采样插值算法，H表示高分辨率图像，L表示降采样后得到的低分辨率图像；并最终获得步骤一所述的图像块三元组{lblur，l，h}；降采样法均采用双三次插值降采样法。3.根据权利要求1所述的一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，步骤二中，用来提取去模...

【专利技术属性】
技术研发人员：王飞，张昕昳，董航，张康龙，韦昭，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61