一种相机抖动造成的模糊图像复原方法技术

本发明专利技术涉及一种相机抖动模糊图像复原方法。相机抖动模糊图像复原过程中，模糊模型设计不当会导致复原效果不佳，计算效率低和内存占用量骤增，因此发展更好的相机抖动模糊图像复原方法已成为该领域亟待解决的问题。本发明专利技术设计了广义加性卷积模型，并基于该模型对相机抖动模糊图像进行复原：首先，估计出相机抖动动作路径；其次，计算出所有的切片状路径和纤维状路径，用贪心算法安排两种路径各自占有的比例；然后，用基于混合GACM的APG算法进行非盲复原。本发明专利技术复原视觉效果较好，兼顾高效快速，内存占用较少的特点，本发明专利技术适用于对各类相机抖动模糊图像复原。

【技术实现步骤摘要】
一种相机抖动造成的模糊图像复原方法
本专利技术涉及的是一种图像复原方法，特别是针对相机抖动造成的模糊图像的复原方法，属于图像处理领域。
技术介绍
图像复原是计算机视觉和图像处理领域一个非常基础的问题。由于散焦，相机抖动，图像中目标的动作等各种因素造成的图像模糊是难以避免的。在这样一个数字成像设备已经被广泛使用的时代，毫无疑问，对模糊图像的复原技术是一个非常热门的话题。目前为止，开发一个既精确，又拥有较强鲁棒性的图像复原技术依然是一个挑战性十足的问题。早期的科学研究都假设模糊图像中各个像素点上的模糊程度是相同的，基于这样的假设，很多方法也显示出较强的对模糊图像的复原能力。然而，近期的一系列研究分析结果证明：相机抖动造成的图像模糊是一种非均匀模糊，即，在模糊图像中，每个像素点上的模糊程度是空间变化的，这使得恢复相机抖动造成的模糊图像成为一个比均匀模糊图像去卷积更有难度的问题。虽然近年来有一些方法致力于恢复相机抖动模糊图像，但是其中主流的一些方法，例如，将整幅图像分割成很多重叠的区域并利用均匀复原的方法进行局部模糊核的估计，这种策略忽略了图像全局信息对局部模糊核的约束，显然没有合理利用图像信息，也无法得到一个令人满意的复原结果；另外一些基于映射动作路径模型的方法，通过将相机抖动造成的模糊定义为清晰图像经过一系列单应变换后结果的加权和，虽然能得到较好的复原效果，但是，基于这种模型的复原方法，计算效率低成了致命伤，虽然有很多方法改进了算法，并且提高了计算效率，但是这些方法又引进了另一种限制这种方法被广泛应用的弊端：计算过程中需要存储高维的稀疏矩阵，从而使整个复原方法的内存占用量骤增。总而言之，超负荷的计算量和严重的内存占用量都源自于复原过程中所用到的非均匀模糊模型。
技术实现思路
本专利技术的目的在于，研究开发一个合理的相机抖动模糊图像复原方法，其核心是设计一个模拟相机抖动模糊的模型，该模型物理概念清楚，并且能够高效计算，获得复原结果的几何模型，为后续采用复原后的清晰图像进行高级图像处理的工作打下基础。基于上述目的，本专利技术技术方案的创新点在于将相机抖动造成的模糊模拟为是减少了数量的卷积变换结果的加权和，这种数量的减少是本专利技术特殊的技术实现的，从根本上降低了复原所需的时间，提高了复原效率。其中涉及到的卷积运算是数字图像处理领域常用的算子，在频域实现卷积算子，具有计算复杂度低(运算速度快)的优势，从而整体上降低复原方法的运行时间；另外，利用极变换将图像变换到极坐标下再进行对图像的旋转操作，结束后再将其用极坐标变换的共轭算子变换到普通空间，从而避免了复原过程中对高维稀疏矩阵的存储，降低了运算过程中的内存占用量。在本专利技术中建立了混合GACM-Generalizedadditiveconvolutionmodel来模拟相机抖动模糊，在复原方法中，模糊模型的计算复杂度和内存占用量以及模拟的准确程度从根本上决定了复原方法的运算时间，内存占用量和复原效果。目前被广泛用来进行相机抖动模糊图像复原的算法都采用一种基于映射动作路径的模型，通过将相机抖动造成的模糊定义为清晰图像经过一系列单应变换后结果的加权和。相对于这种几何模型，混合GACM通过利用FFT变换及其逆变换能快速实现空间卷积运算的优势和利用极坐标变换避免了存储高维稀疏矩阵从而大幅降低计算过程中的内存占用量的优势提升了整体复原方法的效率。混合GACM在算法上相对于映射动作路径模型算法有以下的改进：1)通过证明每个相机动作都可以分解为相机先进行平移操作，再进行旋转操作这一结论，GACM将3D空间(沿着x轴，y轴平移，绕z轴旋转，其中x，y轴为与相机镜头平面平行的坐标系所在的轴，z轴为垂直于相机镜头平面的轴)中相机抖动动作路径分解为两种不同的典型运动路径——切片和纤维，这两种动作路径的合理组合能够重现原始动作路径；2)GACM分解出来的切片路径代表的是以给定的角度绕z轴旋转的相机抖动动作在平面内的平移动作构成的切片状路径。因此，切片路径的模糊模拟过程中只包含一次相机旋转动作，GACM通过极坐标变换实现；而大量的平移动作可以通过计算其平移程度的加权和合成为一次平移操作，通过一组FFT变换来快速实现，至此，整个切片路径中的模糊模拟得以精确实现；3)GACM分解出来的纤维路径代表的是以给定的平移幅度沿x，y轴平移的相机抖动动作在平面内的旋转动作构成的纤维状路径。因此，纤维路径的模糊模拟过程中只包含一次相机平移动作，通过一组FFT变换来快速实现；而大量的旋转动作可以通过极坐标变换后在极坐标下快速实现，同时避免了映射动作路径模型中需要存储高维稀疏矩阵的缺点，降低了计算过程中的内存占用量；4)然而单独使用基于切片的GACM或者是单独使用基于纤维的GACM都无法保证最大程度上提升方法的效率。本专利技术定义一种贪心算法来确定混合GACM中纤维和切片所占有的比例；混合GACM的提出有严格的理论论证作为基础，拥有完美的物理角度的解释，因此，它可以精确的模拟相机抖动动作造成的图像模糊，提升了复原效果；与以上介绍的切片路径实现过程中的时间优势和纤维路径实现中的内存消耗优势使得本专利技术能够实现高效的相机抖动模糊图像复原。本专利技术的具体内容如下：建立一种新的相机抖动模糊模型——混合GACM，并利用该模型进行相机抖动模糊图像盲复原。复原工作是针对所有相机抖动模糊的自然图像进行的，在的验证实验中用到的图像都是现有的方法中常用到的相机抖动过程中拍摄到的模糊自然图像。首先，定义GACM为通过gθ变换的向量x与模糊核的卷积结果再经过fθ变换结果的累加。其中这两种变换的个数为C，C的数值越大，恢复图像所用的时间就越多，反之亦然。通过证明每个相机抖动动作都可以无误差的分解为两种子运动的合并，即，先对图像进行对应的平移操作，再进行旋转操作，GACM将整个相机抖动动作路径分解成了两种典型的路径——切片和纤维路径，其中切片路径中，所有的动作都拥有同样的绕z轴旋转的角度，在基于切片的GACM中，可以定义gθ为恒等映射，定义fθ为旋转变换，此时，在一个切片中的所有平移变换核函数的加权和构成一个核函数ki；纤维路径中，所有的动作都拥有同样的相机平面内的平移幅度，在基于纤维的GACM中，可以定义gθ为先平移输入图像，再对其进行极坐标变换映射到极坐标空间，定义fθ为极坐标变换的逆变换，此时，在一个纤维中的所有旋转变换在极坐标空间内只是简单的加权运算，对极坐标变换和其逆变换，预先存储一组与图像大小相同的查找表来记录它们相应的坐标；而且其中的逆变换采用严格的极坐标变换的伴随算子，目的是避免由于插值和离散化造成的不连续性。本专利技术的目标在于快速高效的完成整个相机抖动模糊图像复原工作，而提高速度的关键在于降低gθ变换或fθ变换个数C。给定一个相机动作路径，纯粹的把整个路径都分解成是多个切片或多个纤维都无法保证得到足够小的C值，因此，本专利技术设计出一种贪心算法来将相机动作路径分解成切片和纤维的混合集合，以此来最大程度上降低C值。GACM可以和目前很多种图像先验条件和优化算法合作实现模糊图像复原。本专利技术中，采用APG-Acceleratedproximalgradient算法来获得最终的复原的图像。为实现以上内容，本专利技术的具体步骤如下：1.估计出相机抖动动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相机抖动造成的模糊图像复原方法，其特征在于：首先，估计出相机抖动动作路径；其次，计算出所有的切片状路径和纤维状路径，用贪心算法来计算切片状路径和纤维状路径各自占有的比例，在实际的相机抖动路径中，所有以给定的角度绕z轴旋转的相机抖动动作在平面内的平移动作构成切片状路径集合，定义为切片；所有以给定的平移幅度沿x，y轴平移的相机抖动动作在平面内的旋转动作构成纤维状路径，定义为纤维；然后，用基于广义加性卷积模型GACM的APG算法进行非盲复原；具体包括以下步骤：1)首先，估计出相机抖动动作路径及每个动作的权值，即集合和向量W，相机动作路径上的每个动作都是三维的，并且可以用以下形式的参数表示θ＝(θz，tx，ty)，其中θz是相机绕z轴旋转的角度，tx和ty分别是沿着x轴和y轴平移的量，由初始的假设得到的清晰图像L∈Rn×n，用共轭梯度法求解下面的优化问题解出W，即动作路径中每个动作的权值：其中是相机抖动动作对应的模糊变换矩阵，W是所有wθ组成的向量，其维数与集合中元素的个数相同；wθ为动作θ＝(θz，tx，ty)在曝光过程中占用的时间，Φ1(W)是动作权值向量W的正则化项，为W的l2-范数；2)其次，计算出所有的切片状路径和纤维状路径；相机抖动造成的非均匀模糊定义为如下广义加性卷积模型GACM：其中L和B是两个n×n大小的图像，定义的是卷积算子，fθ和gθ是为了实现动作θ＝(θz，tx，ty)的关于像素的算子，kθ是动作θ＝(θx，tx，ty)相关的模糊核，C是相机抖动路径中动作的个数；相机抖动动作路径中每一个动作θ对图像的变换都等同于两个子动作轮流对图像变换的结果，它们分别是先对图像进行平移操作，然后对结果图像进行旋转，用公式表示是假设相机动作路径集合中动作个数为n个，每个动作记为θj，j＝1，…n，则之前所述和是相机的3D动作路径中的动作θj，θj分解后的平移动作θj，t和θj分解后的旋转动作θj，r对应的模糊变换矩阵，这个过程具体实现为其中，为平移动作θj，t对应的模糊核，是的矩阵表示，与L卷积就是对L进行平移操作，为旋转动作θj，r对应的变换算子，是算子的矩阵表示，对做变换是对做旋转操作；变换矩阵Kθ的形成需要单应性矩阵Hθ来实现，对3D相机运动子空间中的每个动作θj＝(θz，j，tx，j，ty，j)，单应性可以定义为：其中，tj＝[tx，j，ty，j，0]T是平移向量，且有：假设相机内部参数是已知的，相机校准矩阵定义如下，其中，f是相机焦距长度与相机拍摄到的图像的最大尺寸的乘积除以相机传感器的尺寸最大值得到的参数，f＝l·smax/ccdmax，单位为像素，其中，l是相机焦距长度，单位为毫米，smax为相机拍摄到的图像的最大尺寸，ccdmax为相机传感器的尺寸最大值，(x0，y0)是图像中心像素点的坐标；给定对应于动作θj＝(θz，j，tx，j，ty，j)的单应性矩阵可以构造将图像变换成模糊图像的变换矩阵构造矩阵的具体步骤如下：是像素点到像素点的映射算子，对模糊图像在任意位置[x，y，1]T的像素点，其像素值来源于图像x中位于位置的像素值，这一变换是通过矩阵对图像x作用后的结果；如果令θj，r＝(θz，j，0，0)，和θj，t＝(0，tx，j，ty，j)，类似的，定义为对应于动作θj，r＝(θz，j，0，0)的单应性矩阵，为对应于动作θj，t＝(0，tx，j，ty，j)的单应性矩阵，将图像x中处于像素位置的像素值赋值到模糊图像上[x，y，1]位置的像素点；将图像x中处于像素位置的像素值赋值到模糊图像上[x，y，1]位置的像素点；定义fθ(x)＝Rθ(x)，gθ(x)＝x，其中，Rθ是相机抖动动作θ＝(θz，tx，ty)对应的旋转操作，切片状路径集合定义为即所有θz分量相同的相机抖动动作θ＝(θz，tx，ty)组成的集合，因为这些动作的旋转分量都相同，所以用一个旋转变换Rθ就可以实现所有的旋转动作；定义ft(x)＝IPT(x)，gt(x)＝PT(Ktx)，其中，PT和IPT算子是极坐标变换及其逆变换，Kt是相应的纤维对应的平移模糊矩阵，纤维状路径集合定义为即每一个tx和ty分量都相同的相机抖动动...

【专利技术属性】
技术研发人员：左旺孟，邓红，张宏志，张垒磊，石坚，
申请(专利权)人：左旺孟，张宏志，邓红，石坚，张垒磊，
类型：发明
国别省市：黑龙江,23