一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法制造技术

本发明专利技术公开了一种改进的基于多幅图像模糊核估计的盲超分辨率重建方法。主要包括以下步骤：对输入的低分辨率的视频帧中的第一帧图片进行不同程度的模糊处理，得到同一场景的两幅不同模糊程度的图像，得到两张不同模糊程度的图片；利用上述得到的两张同一场景的不同模糊程度的图片，对其采用鲁棒性的去卷积算法生成一个粗略的模糊核，并用此模糊核对所有的视频帧进行去模糊处理，得到处理后的一组图片序列fk，作为后面处理的输入；利用曲率差分算子提取空间结构信息，然后对其进行聚类得到区域空间自适应加权系数，该系数用于对全变分和非局部均值正则化项进行自适应加权；利用前面得到的自适应加权系数来加权正则化项，从而确定重建代价函数；利用梯度下降法来最优化重建代价函数，其中每次迭代过程中再进行一次模糊核估计，并进行去模糊，最终得到输出的高分辨率图像序列。

【技术实现步骤摘要】

本专利技术涉及图像超分辨率重建技术，具体涉及一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法，属于数字图像领域。
技术介绍
图像与视频作为视觉信息的载体，是人类获取和传递信息的重要方式，因此，研究和处理图像与视频信息具有十分重要的意义。随着信息化技术的发展，人们对接收到的信息的要求也越来越高，尤其在医学、遥感、天文以及视频监控等应用领域中，都需要获得高分辨率的视频。然而在实际采集视频时，往往受到受到光的像差、欠采样、大气扰动、散焦以及系统噪声等因素的影响，所获得的视频的空间分辨率不高。改善成像系统中的硬件设备是提高视频分辨率较为简单的途径，但是成本太高，所以我们考虑通过软件的方法来提高图片和视频的分辨率以满足我们的需要。模糊是视频退化过程的重要因素之一，采集到的视频不仅受传感器自身光学模糊的影响，同时也受到外界大气模糊、运动模糊和散焦模糊等的影响。在超分辨率重建算法中，需要对模糊核进行估计以便能更准确地模拟成像的退化过程，以进一步提高超分辨率重建视频的质量。传统的基于边界梯度变化的模糊核估计，需要选取在图像上两块均匀亮暗区域的直线边界作为刃边，由于在输入的低分辨率图像中很难发现足够的强边缘，所以模糊核估计的问题变得尤为困难。在目前的大多数超分辨率重建算法中，通常假设成像系统的点扩展函数是事先已知的或者假设模糊核有简单的解析形式(如高斯形式)，有的甚至没有考虑降晰过程，不符合光学设备真实的成像模型，因此限制了算法在不同真实场景中的应用。
技术实现思路
本专利技术的目的就在于为解决上述问题而提供一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法。本专利技术提出的一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法，具体可以分为以下几个步骤：(1)对输入的低分辨率的视频帧中的第一帧图片进行不同程度的模糊处理，得到同一场景的两幅不同模糊程度的图像；(2)利用步骤(1)中得到的两张不同模糊程度的模糊图片进行模糊核估计，并用生成的模糊核对所 有低分辨率视频帧进行去模糊的预处理，得到处理后的图片序列yl，作为后面处理的输入；(3)利用曲率差分算子提取空间结构信息，然后对其进行聚类得到区域空间自适应加权系数，该系数用于对全变分和非局部均值正则化项进行自适应加权；(4)利用步骤(3)中的所确定的自适应加权系数得到的加权的正则化项来确定重建代价函数；(5)利用梯度下降法来最优化重建代价函数，其中每次迭代过程中采用步骤(2)中的模糊核估计方法再进行一次模糊核估计，并进行去模糊，得到最终输出的高分辨率图像序列。附图说明图1是本专利技术基于多幅图像模糊核估计的盲超分辨率重建算法原理框图图2是视频“Akiyo”低分辨率帧与采用不同算法的重建结果图3是视频“Teddy”低分辨率帧与采用不同算法的重建结果图4是视频“Suzie”低分辨率帧与采用不同算法的重建结果图5是真实视频Broadcast原始低分辨率帧与采用不同算法的重建结果具体实施方式下面结合附图对本专利技术作进一步说明：图1中，一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法，具体可以分为以下几个步骤：(1)对输入的低分辨率的视频帧中的第一帧图片进行不同程度的模糊处理，得到同一场景的两幅不同模糊程度的图像；(2)利用步骤(1)中得到的两张不同模糊程度的模糊图片进行模糊核估计，并用生成的模糊核对所有低分辨率视频帧进行去模糊的预处理，得到处理后的图片序列yl，作为后面处理的输入；(3)利用曲率差分算子提取空间结构信息，然后对其进行聚类得到区域空间自适应加权系数，该系数用于对全变分和非局部均值正则化项进行自适应加权；(4)利用步骤(3)中的所确定的自适应加权系数得到的加权的正则化项来确定重建代价函数；(5)利用梯度下降法来最优化重建代价函数，其中每次迭代过程中采用步骤(2)中的模糊核估计方法再进行一次模糊核估计，并进行去模糊，得到最终输出的高分辨率图像序列。具体地，所述步骤(1)中，我们是采用图像复原中的一种模糊核估计算法，其需要同一场景的不同模糊程度的图片来进行模糊核估计，所以我们是先对得到的低分辨率视频中第一帧图片进行两种不同程度的模糊得到两组不同程度的图片序列。所述步骤(2)中利用步骤(1)得到的同一场景的不同模糊程度的两幅图片，对其采用鲁棒性的去卷 积算法生成一个粗略的模糊核，然后进行去模糊处理得到对应场景的一幅去模糊的图片，再用此模糊核对其余图片做相同的处理得到处理后的图片序列yl，作为后面处理的输入，具体的模糊核求解过程如下：首先介绍图像的降质过程，高分辨率图像f经过退化模型后，最终产生了低分辨率图像序列gi，整个过程对应的数学表达式为：gi＝DBiEif+ni,(i＝1,...,p) (1-1)其中，D表示下采样过程，Bi表示模糊过程，Ei表示坐标变换过程(旋转，平移等)，ni表示噪声而模糊核估计过程主要是对模糊过程进行估计，本专利技术中的模糊核求解过程如下：先考虑重建中去模糊的过程，图像经过不同模糊程度处理后的表达式为： g i = f ⊗ h i + n i , ( i = 1 , 2 ... ... n ) - - - ( 1 - 2 ) ]]>其中，f为原始高清图像，为卷积运算，hi为不同的模糊核，和前文中的模糊B相对应，gi为经过不同的模糊处理并加噪的图像。将上式作如下变换： g 1 ⊗ h 2 - g 2 ⊗ h 1 = n 1 ⊗ h 2 - n 2 ⊗ h 1 - ϵ - - - ( 1 - 3 ) ]]>ε是正比于噪声变量n1，n2的误差项，特殊地，在无噪情况下有：在加性高斯白噪声的情况下，当ni～(0,σ2)，有：ε～(0,σ2(cov(h1)+cov(h2))) (1-4)令Σ＝σ2(cov(h1)+cov(h2))，通过最大后验概率估计，可得求解的矩阵形式，即： h ^ = arg min h | | ϵ | | 2 = h 2 本文档来自技高网...

【技术保护点】
一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法，其特征在于包括以下步骤：步骤一：对输入的低分辨率的视频帧中的第一帧图片进行不同程度的模糊处理，得到同一场景的两幅不同模糊程度的图像；步骤二：利用步骤一中得到的两张不同模糊程度的模糊图片进行模糊核估计，并用生成的模糊核对所有低分辨率视频帧进行去模糊的预处理，得到处理后的图片序列yl，作为后面处理的输入；步骤三：利用曲率差分算子提取空间结构信息，然后对其进行聚类得到区域空间自适应加权系数，该系数用于对全变分和非局部均值正则化项进行自适应加权；步骤四：利用步骤三中的所确定的自适应加权系数得到的加权的正则化项来确定重建代价函数；步骤五：利用梯度下降法来最优化重建代价函数，其中每次迭代过程中采用步骤二中的模糊核估计方法再进行一次模糊核估计，并进行去模糊，得到最终输出的高分辨率图像序列。

【技术特征摘要】
1.一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法，其特征在于包括以下步骤：步骤一：对输入的低分辨率的视频帧中的第一帧图片进行不同程度的模糊处理，得到同一场景的两幅不同模糊程度的图像；步骤二：利用步骤一中得到的两张不同模糊程度的模糊图片进行模糊核估计，并用生成的模糊核对所有低分辨率视频帧进行去模糊的预处理，得到处理后的图片序列yl，作为后面处理的输入；步骤三：利用曲率差分算子提取空间结构信息，然后对其进行聚类得到区域空间自适应加权系数，该系数用于对全变分和非局部均值正则化项进行自适应加权；步骤四：利用步骤三中的所确定的自适应加权系数得到的加权的正则化项来确定重建代价函数；步骤五：利用梯度下降法来最优化重建代价函数，其中每次迭代过程中采用步骤二中的模糊核估计方法再进行...

【专利技术属性】
技术研发人员：何小海，吉晓红，戴茂华，张轶君，熊淑华，吴晓红，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51