基于样本块的旋转及缩放图像修复算法制造技术

本发明专利技术公开了一种基于样本块的旋转及缩放图像修复算法：利用局部特征向量的特性，对图像中未破损区域进行关键点的计算；计算破损区域中像素点的优先权，选出具有最高优先权的像素点，以此像素点为中心，根据确定的破损块的尺寸，定义出破损块；对破损块进行关键点的计算，对破损块和未破损区域进行关键点匹配，搜寻最优匹配块；利用匹配到的关键点坐标值确定最优匹配块的边缘轮廓；对最优匹配块进行空间拓展变换；利用拓展后的最优匹配块对破损块进行信息填充；重复上述步骤，直到所有破损块都被修复，输出修复后的图像。对于具有旋转和尺度缩放图像，本发明专利技术能够快速准确地获得相关破损块的最优匹配块，获得良好的修复效果。

【技术实现步骤摘要】
基于样本块的旋转及缩放图像修复算法
本专利技术涉及计算机图像处理领域，更具体的说，是涉及一种基于样本块的旋转及缩放图像修复算法。
技术介绍
图像修复是图像处理和计算机视觉领域研究的重点之一。图像修复是对受损图像进行修复重建，或者去除图像中的多余物体，同时保证图像原有的视觉效果。目前该技术大体上可以分为两类，一类是针对小区域破损区域的修复方法，另一类是针对大区域破损区域的修复方法。小区域破损区域的修复通常是基于偏微分方程的图像修复算法，主要是利用热扩散方程建立图像的偏微分方程，并按照一定的规则向待修复区域扩散。大区域破损区域的修复主要是基于纹理合成的修复方法，也是目前图像修复的重点，主要是利用图像破损区域附近完好的纹理信息，对待修复区域进行块匹配和复制，从而达到图像修复的目的。最常见的大区域破损区域的修复算法主要是基于样本块的方法。传统基于样本块的修复算法在搜索最优匹配块时，大多是通过平移的方式来进行搜索，这种方式可用于处理平移图像，但是当图像存在旋转和尺度变换时，仅通过平移无法获得最优的匹配块。而在信息填充阶段，由于得到的匹配块与待修复块并不是平移关系，此时需要对获得的最优匹配块进行旋转或者尺度缩放的变换，之后才能进行信息的填充。鉴于此，需要找到一种针对旋转和尺度缩放图像最优匹配块搜索方法，以及对图像块进行空间变换的方法。
技术实现思路
本专利技术的目的是为了克服现有技术中的不足，提供了一种基于样本块的旋转及缩放图像修复算法，利用局部特征向量的不变性来对破损块的最优匹配块进行搜索，利用改进后的空间能量函数对搜索到的最优匹配块进行变换，使其与破损块的像素信息相一致，从而使信息填充顺利进行，完成图像修复过程。本专利技术的目的是通过以下技术方案实现的。一种基于样本块的旋转及缩放图像修复算法，包括以下步骤：1)利用局部特征向量的特性，对图像中未破损区域进行关键点的计算、检测和筛选；2)计算破损区域中像素点的优先权，选出具有最高优先权的像素点，以此像素点为中心，根据确定的破损块的尺寸大小，定义出破损块；3)对破损块进行关键点的计算、检测和筛选，然后对破损块和未破损区域进行关键点的匹配，搜寻最优匹配块；4)利用匹配到的关键点的坐标值确定最优匹配块的边缘轮廓；5)对最优匹配块的空间能量函数进行空间拓展变换；6)利用拓展后的最优匹配块对破损块进行信息填充；7)重复步骤2)至6)，直到所有的破损块都被修复，输出修复后的图像。对步骤1)中的未破损区域和步骤3)中破损块均按以下公式进行关键点的计算、检测和筛选：F(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)式中，F(x,y,σ)是经过尺度变换之后的图像空间，G(x,y,σ)是多尺度的高斯函数，I(x,y)代表了图像像素值，k是一个固定的乘数因子，m(x,y)是梯度的幅值，θ(x,y)是梯度的方向值。步骤4)中确定最优匹配块的边缘轮廓的关系式为：式中，xmin表示关键点横坐标的最小值，xmax表示关键点横坐标的最大值，ymin表示关键点纵坐标的最小值，ymax表示关键点纵坐标的最大值，yj表示横坐标最小值对应的另一半坐标值，yi表示横坐标最大值对应的另一半坐标值，xk表示纵坐标最小值对应的另一半坐标值，xl表示纵坐标最大值对应的另一半坐标值。步骤5)中对最优匹配块的空间能量函数进行空间拓展变换的函数为：式中，ip是像素的相对索引值，表示经过θn角度的旋转，αn是尺度变换系数，取值为αn＝0.5，Rθnip表示顺时针经过θn角度旋转后的像素相对索引值，n是破损区域的像素点，xn是未破损区域的像素点，M(xn)是以xn为中心的经过拓展变换后的最优匹配块，T代表破损区域，MMSE是最小均方差，B是破损块，▽代表水平和垂直方向的梯度信息，λ是权重因子，取值为λ＝0.2。与现有技术相比，本专利技术的技术方案所带来的有益效果是：(1)本专利技术针对的是旋转和尺度缩放图像的修复算法，传统的图像修复算法只能够在平移空间中进行最优匹配块的搜索，而当图像中存在旋转或者尺度缩放时，无法获取准确的匹配块，由此造成后面用此匹配块进行填充时无法得到很好的修复效果。针对这一不足，本专利技术利用了局部特征向量具有平移、缩放、旋转不变性的特性对最优匹配块进行搜索，提高了搜索的准确性，缩短了搜索时间，提高了最优匹配块的搜索效率。(2)本专利技术对传统的空间能量函数进行改进，增加了旋转和尺度缩放因子，使其能够适应图像块的旋转和尺度缩放。利用改进后的空间函数对最优匹配块进行空间拓展变换，使其与破损块之间的像素信息相对应，从而保证了信息填充过程的顺利进行。(3)本专利技术较好的解决了关于旋转和尺度缩放图像的修复问题，与已有的方法相比，鲁棒性更强，搜索过程的效率更高，有着广泛的应用前景。附图说明图1是本专利技术基于样本块的旋转及缩放图像修复算法的流程图；图2是利用关键点的坐标值确定最优匹配块的边缘轮廓的过程图；图3是利用本专利技术方法和一般的方法找到的匹配块的结果对比图；图4是实施例中第一幅图像(旋转图像)实验效果图；图5是实施例中第二幅图像(旋转图像)实验效果图；图6是实施例中第三幅图像(尺度缩放图像)实验效果图；图7是实施例中第四幅图像(尺度缩放图像)实验效果图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。本专利技术的基于样本块的旋转及缩放图像修复算法，如图1所示，具体步骤和原理如下：1)利用局部特征向量的特性，对图像中未破损区域进行关键点的计算、检测和筛选。局部特征向量是根据图像配准算法产生的。首先，带有方向信息的图像的局部极值点，即图像的关键点被检测，特征向量则由这些关键点产生。极值点通过高斯差分(DOG)函数产生：F(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)(1)式中，F(x,y,σ)是经过尺度变换之后的图像空间，G(x,y,σ)是多尺度的高斯函数，I(x,y)代表了图像像素值，k是一个固定的乘数因子，*代表了卷积运算。然后，通过数据采样产生图像金字塔，在每一层图像层中计算像素的最大值和最小值点。由于高斯差分函数自身具有的良好属性，这些极值点具有尺度不变特性。为了提高准确性，在计算出极值点后，本专利技术根据高斯差分函数的泰勒展开式，对极值点进行筛选，去除对噪声敏感以及位于边缘的那些点，将最后得到的极值点设为关键点。最后，为了让计算出的关键点具有旋转不变性，根据计算关键点的梯度信息来确定其方向特性。图像梯度的幅值和方向由以下的式子计算：式中，m(x,y)是梯度的幅值，θ(x,y)是梯度的方向值。根据具有旋转和尺度不变性的关键点产生的特征向量，可以被用来对两个图像块进行匹配。本专利技术中利用了k-d树算法来进行最优搜索(参考文献：BeisJS,LoweDG(1993)ShapeIndexingUsingApproximateNearest-NeighbourSearchinHigh-DimensionalSpaces.IEEECOMPUTERSOCIETYCONFERENCEONCOMPUTERVISIONANDPATTERNRECOGNITION.pp1000-1006.)。2)计算破损区域中像素点的优先权，选出具有最高优先权的像素点，以此像素点为中本文档来自技高网...

【技术保护点】
一种基于样本块的旋转及缩放图像修复算法，其特征在于，包括以下步骤：1)利用局部特征向量的特性，对图像中未破损区域进行关键点的计算、检测和筛选；2)计算破损区域中像素点的优先权，选出具有最高优先权的像素点，以此像素点为中心，根据确定的破损块的尺寸大小，定义出破损块；3)对破损块进行关键点的计算、检测和筛选，然后对破损块和未破损区域进行关键点的匹配，搜寻最优匹配块；4)利用匹配到的关键点的坐标值确定最优匹配块的边缘轮廓；5)对最优匹配块的空间能量函数进行空间拓展变换；6)利用拓展后的最优匹配块对破损块进行信息填充；7)重复步骤2)至6)，直到所有的破损块都被修复，输出修复后的图像。

【技术特征摘要】
1.一种基于样本块的旋转及缩放图像修复算法，其特征在于，包括以下步骤：1)利用局部特征向量的特性，对图像中未破损区域进行关键点的计算、检测和筛选；2)计算破损区域中像素点的优先权，选出具有最高优先权的像素点，以此像素点为中心，根据确定的破损块的尺寸大小，定义出破损块；3)对破损块进行关键点的计算、检测和筛选，然后对破损块和未破损区域进行关键点的匹配，搜寻最优匹配块；4)利用匹配到的关键点的坐标值确定最优匹配块的边缘轮廓；5)对最优匹配块的空间能量函数进行空间拓展变换；6)利用拓展后的最优匹配块对破损块进行信息填充；7)重复步骤2)至6)，直到所有的破损块都被修复，输出修复后的图像。2.根据权利要求1所述的基于样本块的旋转及缩放图像修复算法，其特征在于，对步骤1)中的未破损区域和步骤3)中破损块均按以下公式进行关键点的计算、检测和筛选：F(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)式中，F(x,y,σ)是经过尺度变换之后的图像空间，G(x,y,σ)是多尺度的高斯函数，I(x,y)代表了图像像素值，k是一个固定的乘数因...

【专利技术属性】
技术研发人员：何凯，卢雯霞，沈成南，黄婉蓉，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12