一种基于ER网络多帧图像去模糊系统及其方法技术方案

本发明专利技术涉及计算机视觉领域，具体是一种基于ER网络多帧图像去模糊系统，包括接受指令模块、指令生成模块、采集模块、清晰化处理模块；一种基于ER网络多帧图像去模糊方法，包括步骤一、退化模型的构建，步骤二、建立仿真数据集，步骤三、生成供训练的第一退化图像和第一退化图像序列，步骤四、利用ERnet神经网络模型进行第一退化图像序列的排序，并对ERnet神经网络模型的排序结果进行评估，步骤五、将多帧互补信息提取网络和时空注意力机制输出结果相加作为信息精细化网络的输入数据，步骤六，用户输入模糊目标图像，生成清晰目标图像；解决了大气湍流退化图像具有随机性，多帧之间具有较为明显的互补信息，同时多帧之间也具有随机的差异性问题。

【技术实现步骤摘要】
一种基于ER网络多帧图像去模糊系统及其方法
本专利技术涉及计算机视觉领域，具体是指一种基于ER网络多帧图像去模糊系统及其方法。
技术介绍
退化图像的复原是计算机视觉领域的一个关键任务，是当前热门的研究问题，从复原方法角度可以分为非盲复原和盲复原，非盲复原已知图像退化的点扩散函数，结合模糊图像和正则化规则进行反解卷积，完全的盲复原算法是在模糊参数和噪声参数都未知的情况下进行图像复原，其输入仅仅只有退化图像，非盲复原需要预知点扩散函数或点扩散函数符合特定的先验分布，所以这类方法难以应用到真实图像的复原，从退化因素角度可以分为运动模糊，抖动模糊,失焦模糊，物理模糊,噪声干扰和大气湍流模糊，如前所述，大气湍流模糊的图像往往受到多种退化因素的影响，同时退化严重，其复原难度是最大的，从输入数据角度可分为单帧复原和多帧复原。多帧复原是输入连续的多帧图像，实现图像的复原，也可以用于视频复原。求取清晰图像是一个非适定的反问题，难以直接求取得最优的唯一解，一种直观的方法是通过引入正则化先验，例如Tikhonov等，再通过优化算法求解方程得到清晰图像，这类方法在处理严重退化图像的复原问题时，存在模型过度简化，正则化规则难以确定的问题，使得算法稳定性差，甚至发生完全失败的现象，近年来，利用深度卷积神经网络(CNN)强大的表示学习能力进行图像复原的工作日益增多并取得了显著的效果，这类基于学习的方法实现图像复原，存在需要大量训练数据，模型泛化能力和可解释性差等问题，融合两者的优点进行退化图像复原也是解决问题的一种思路，一种方法是利用深度神经网络学习图像的先验，然后用于传统方法求解，另外一种方法是利用传统方法复原后利用深度神经网络增强图像的细节信息。
技术实现思路
基于以上问题，本专利技术提供了一种基于ER网络多帧图像去模糊系统及其方法，解决了大气湍流退化图像具有随机性，多帧之间具有较为明显的互补信息，同时多帧之间也具有随机的差异性问题。为解决以上技术问题，本专利技术采用的技术方案如下：一种基于ER网络多帧图像去模糊系统，包括接受指令模块，用于接收用户创建的任务指令；指令生成模块，用于用户创建任务指令；采集模块，用于接收用户上传的模糊目标图像；清晰化处理模块，用于将用户上传的模糊目标图像进行清晰化处理。进一步，所述清晰化处理模块包括退化模型，用于生成第一退化图像和第一退化图像序列；ERnet神经网络模型，包括多帧互补信息提取网络、信息精细化网络和时空注意力机制，用于将第一退化图像进行排序，并生成新的第二退化序列；退化特征抽取器，包含第一2D卷积层、第一最大池化层和第一flatten层，用于输出退化特征向量；清晰特征抽取器，包含第二2D卷积层、第二最大池化层和第二flatten层，用于输出清晰特征向量；退化图像生成器，用于输入退化特征向量后输出第二退化图像；清晰图像生成器，用于输入清晰特征向量后输出与第二退化图像相对应的清晰图像；多帧互补信息提取网络，包括第三3D卷积层、第四3D卷积层、3D转置卷积层、第三最大池化层和第一残差分解块，用于提取输入退化图像序列各帧的有效信息，并将有效信息融合成单通道特征图进行输出；时空注意力机制，包括3D全局平局池化、3D全局最大池化、多个全连接层、第二残差分解块、第五3D卷积层、2D全局平局池化、2D全局最大池化和第三2D卷积层，用于加强输入退化图像序列的有效信息，并输出单通道特征图；信息精细化网络，包括编码器、解码器、第三2D卷积层和第四2D卷积层，所述编码器包括4个第三残差分解块和相对应的4个下采样层，所述解码器包括4个上采样层和相对应的4个第四残差分解块，用于对多帧互补信息提取网络和时空注意力机制的输出进行修正。一种基于ER网络多帧图像去模糊方法，采用上述一种基于ER网络多帧图像去模糊系统，包括步骤一、退化模型的构建，包括如下步骤：S11、构建大气湍流特性的点扩散函数PSF，公式如下：PSF＝exp{-3.44(αfU/r)5/3}；其中，U表示频率，(u,v)表示单位脉冲，α表示波长，f表示光学系统的焦距，r表示弗里德参数；S12、退化模型表示为：y＝T(x*PSF+N)；其中，N表示泊松噪声，*表示卷积操作，+表示求和操作，所述泊松噪声N受分布参数λ影响；步骤二、由选取的若干张空间目标清晰图像组成仿真数据集；步骤三、步骤二中的仿真数据集输入退化模型中生成供训练的第一退化图像和第一退化图像序列；步骤四、将第一退化图像输入ERnet神经网络模型进行第一退化图像序列的排序，并生成第二图像序列，并对ERnet神经网络模型的排序结果进行评估；步骤五、将第二退化图像序列输入多帧互补信息提取网络和时空注意力机制，所述多帧互补信息提取网络和时空注意力机制输出结果相加作为信息精细化网络的输入数据；步骤六，用户输入模糊目标图像，生成清晰目标图像。进一步，所述步骤三中，第一退化图像的生成方法具体包括S31、在预设的固定退化范围内随机生成多组退化干扰，其中，预设退化范围为(rx,ry)、(λx,λy)，r在(rx,ry)中选取，λ在(λx,λy)中选取；S32、预设输入的退化图像序列共有K帧，即在退化范围内随机生成K个PSF和噪声；S33、将生成的K个PSF分别与空间目标清晰图像卷积得到对应的K帧空间目标模糊图像，将各帧空间目标模糊图像与对应的噪声相加，生成第一退化图像，并输出第一退化图像序列。进一步，所述步骤四中，将单帧的第一退化图像输入到ERnet神经网络模型，第一退化图像先后经过第一2D卷积层、第一最大池化层和第一flatten层，输出退化特征向量，将退化特征向量输入退化图像生成器，输出第二退化图像；第一退化图像先后经过第二2D卷积层、第二最大池化层和第二flatten层，输出清晰特征向量，将清晰特征向量输入清晰图像生成器，输出与第二退化图像相对应的清晰图像，最终生成第二图像序列。进一步，所述步骤四中，K组第一退化图像序列逐帧输入到ERnet神经网络模型，得到退化特征向量组dvec和清晰特征向量组svec，预设每组输入的退化图像序列共有l帧，用表示第k个退化特征向量组的第i个退化特征向量，用表示第k个清晰特征向量组的第j个清晰特征向量，其中，0＜k＜K，因此，每组清晰特征向量的平局值作为清晰度指标，公式为：其中，sveck表示第k个清晰特征向量组的平均值，将退化特征向量组中的每个退化特征向量与sveck求欧几里得距离公式为：其中，L2表示欧几里得距离函数，将输入第一退化图像序列的顺序记为rankinp，将ERnet神经网络模型的排序结果记为rankoutp，使用加权肯德尔距离衡量输入第一退化图像序列的顺序与ERnet神经网络模型的排序结果之间的差距，将加权肯德尔距离的平均值作为ERnet神经网络模型的评估结果，评估结果记为MRN，公本文档来自技高网...

【技术保护点】
1.一种基于ER网络多帧图像去模糊系统，其特征在于：包括/n接受指令模块，用于接收用户创建的任务指令；/n指令生成模块，用于用户创建任务指令；/n采集模块，用于接收用户上传的模糊目标图像；/n清晰化处理模块，用于将用户上传的模糊目标图像进行清晰化处理。/n

【技术特征摘要】
1.一种基于ER网络多帧图像去模糊系统，其特征在于：包括
接受指令模块，用于接收用户创建的任务指令；
指令生成模块，用于用户创建任务指令；
采集模块，用于接收用户上传的模糊目标图像；
清晰化处理模块，用于将用户上传的模糊目标图像进行清晰化处理。


2.根据权利要求1所述的一种基于ER网络多帧图像去模糊系统，其特征在于：所述清晰化处理模块包括
退化模型，用于生成第一退化图像和第一退化图像序列；
ERnet神经网络模型，包括多帧互补信息提取网络、信息精细化网络和时空注意力机制，用于将第一退化图像进行排序，并生成新的第二退化序列；
退化特征抽取器，包含第一2D卷积层、第一最大池化层和第一flatten层，用于输出退化特征向量；
清晰特征抽取器，包含第二2D卷积层、第二最大池化层和第二flatten层，用于输出清晰特征向量；
退化图像生成器，用于输入退化特征向量后输出第二退化图像；
清晰图像生成器，用于输入清晰特征向量后输出与第二退化图像相对应的清晰图像；
多帧互补信息提取网络，包括第三3D卷积层、第四3D卷积层、3D转置卷积层、第三最大池化层和第一残差分解块，用于提取输入退化图像序列各帧的有效信息，并将有效信息融合成单通道特征图进行输出；
时空注意力机制，包括3D全局平局池化、3D全局最大池化、多个全连接层、第二残差分解块、第五3D卷积层、2D全局平局池化、2D全局最大池化和第三2D卷积层，用于加强输入退化图像序列的有效信息，并输出单通道特征图；
信息精细化网络，包括编码器、解码器、第三2D卷积层和第四2D卷积层，所述编码器包括4个第三残差分解块和相对应的4个下采样层，所述解码器包括4个上采样层和相对应的4个第四残差分解块，用于对多帧互补信息提取网络和时空注意力机制的输出进行修正。


3.一种基于ER网络多帧图像去模糊方法，采用上述一种基于ER网络多帧图像去模糊系统，其特征在于：包括
步骤一、退化模型的构建，包括如下步骤：
S11、构建大气湍流特性的点扩散函数PSF，公式如下：



PSF＝exp{-3.44(αfU/r)5/3}；
其中，U表示频率，(u,v)表示单位脉冲，α表示波长，f表示光学系统的焦距，r表示弗里德参数；
S12、退化模型表示为：
y＝T(x*PSF+N)；
其中，N表示泊松噪声，*表示卷积操作，+表示求和操作，所述泊松噪声N受分布参数λ影响；
步骤二、由选取的若干张空间目标清晰图像组成仿真数据集；
步骤三、步骤二中的仿真数据集输入退化模型中生成供训练的第一退化图像和第一退化图像序列；
步骤四、将第一退化图像输入ERnet神经网络模型进行第一退化图像序列的排序，并生成第二图像序列，并对ERnet神经网络模型的排序结果进行评估；
步骤五、将第二退化图像序列输入多帧互补信息提取网络和时空注意力机制，所述多帧互补信息提取网络和时空注意力机制输出结果相加作为信息精细化网络的输入数据；
步骤六，用户输入模糊目标图像，生成清晰目标图像。


4.根据权利要求3所述的一种基于ER网络多帧图像去模糊方法，其特征在于：所述步骤三中，第一退化图像的生成方法具体包括
S31、在预设的固定退化范围内随机生成多组退化干扰，其中，预设退化范围为(rx,ry)、(λx,λy)，r在(rx,ry)中选取，λ在(λx,λy)中选取；
S32、预设输入的退化图像序列共有K帧，即在退化范围内随机生成K个PSF和噪声；
S33、将生成的K个PSF分别与空间目标清晰图像卷积得到对应的K帧空间目标模糊图像，将各帧空间目标模糊图像与对应的噪声相加，生成第一退化图像，并输出第一退化图像序列。


5.根据权利要求3所述的一种基于ER网络多帧图像去模糊方法，其特征在于：所述步骤四中...

【专利技术属性】
技术研发人员：谢春芝，高志升，
申请(专利权)人：西华大学，成都视证科技有限公司，
类型：发明
国别省市：四川;51