一种基于角度感知块匹配的图像修复方法和系统技术方案

本申请公开了一种基于角度感知块匹配的图像修复方法及系统，包括：首先，将待修复图像分为目标待修复区域和源区域，并进行曲面拟合；然后，确定优先级最高的待填充目标块；再旋转源区域中与目标块最为相似的匹配块，利用角度感知得到最佳匹配块；最后，填充目标块中待修复区域，并更新被填充像素点的置信度值；重复上述步骤直到待修复区域被填充完整。本发明专利技术运用了匹配块的角度旋转来感知最佳空间位置，从而最大程度上恢复缺损区域的图像内容，包括其颜色、纹理和几何形状，能够很好地满足人类的视觉需求。本方法已能成功应用于各种具有复杂纹理和几何结构特征的大面积破损区域的图像修复，也可有效地应用于去除遮挡物、移动目标物体等方面。

An Image Restoration Method and System Based on Angle Sensing Block Matching

【技术实现步骤摘要】
一种基于角度感知块匹配的图像修复方法和系统
本专利技术涉及计算机图像处理领域，特别是涉及一种基于角度感知块匹配的图像修复方法和系统。
技术介绍
本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。在实现本专利技术的过程中，专利技术人发现现有技术中存在以下技术问题：数字图像修复是指利用图像中已知的像素信息对受损区域进行自动填充，使修复后的图像在人类视觉上达到一致性要求的一种技术。图像修复是图像复原的一个研究热点，被广泛应用于保护古代文物、图像编辑(去除不需要的文字或遮挡物体等)、医学以及军事等领域。通常，所有的图像修复算法都是基于这样一个假设：待修复区域与完整区域的统计特性和几何结构是一致的。其次修复好的区域应该与已知区域有相似的颜色、纹理以及几何结构。如何保证修复好的图像能够最大程度上满足人类的视觉要求是该项技术的核心问题。图像修复方法主要分为两大类，一类是基于偏微分方程的方法，用来修复非纹理图像；另一类是基于样例的方法，用来修复纹理图像。基于偏微分方程的方法主要用来恢复具有划痕或者污点的图像，该方法是沿着等照度线的角度由内而外地将受损区域周围信息扩散到受损区域中。但当图像具有丰富的纹理信息以及较大的缺失区域时，该方法会产生模糊的视觉效果，很难与周围内容保持一致。基于样例的图像修复方法的提出很大程度上改善了利用偏微分方程在图像修复上的不足，在修复具有大的孔洞且包含较丰富纹理信息的区域时能够产生良好的视觉效果。基于样例的图像修复方法主要被用来去遮挡物、移动目标物体或者修复大的缺失区域。基于样例的图像修复方法在块级别上进行修复，不仅提高了算法的修复速度，同时能够将丰富的纹理信息复制到破损区域。该方法相比之前的方法在视觉效果上得到了很大的提升，然而仍然存在一些不足：(1)每次仅从源区域选择单一的匹配块来填充目标块，没有充分考虑块的角度感知特性，忽视了块之间的传递性，不能充分利用图像的全局结构，使得修复后的区域与周围区域存在不一致性；(2)该方法没有考虑待修复区域内容的影响，仅通过最佳匹配块对应位置的像素值进行填充，这样有可能会引入不一致内容；(3)在寻找最佳匹配块时，仅根据像素在颜色欧式空间距离的最小值来判断最佳匹配块，忽视了块的梯度信息，这样容易导致错误的匹配，在之后的填充过程中该错误会被不断地扩散，导致最终的填充结果不理想。
技术实现思路
为了解决现有技术的不足，本专利技术提供了一种基于角度感知块匹配的图像修复方法及系统。本方法利用匹配块的角度感知确定其空间位置，从而修复图像的缺损区域，具有鲁棒性高、修复效果好的特点。用户只需选择待修复区域，就可由计算机运行程序自动修复图像，还原具有复杂纹理和几何结构特征的缺损图像，还包括具有大面积破损区域的图像。第一方面，本专利技术提供了一种基于角度感知块匹配的图像修复方法。一种基于角度感知块匹配的图像修复方法，包括：步骤1.确定待修复区域：输入待修复图像，将待修复图像分为待修复区域Ω和源区域Φ，其中待修复区域就是图像中的缺损区域，即目标区域；目标区域与源区域的边界线为δΩ；步骤2.初始化破损区域：将残缺图像投影到三维子空间，利用移动最小二乘法将残缺部分填充完整得到拟合后的曲面，然后将从拟合曲面上重采样像素点的值作为缺失区域中对应像素的估计值，得到初始化的图像I'；步骤3.根据改进的优先级函数选择包含纹理信息最多的目标块将其确定为被填充的目标块：计算图像I'中边界δΩ上的所有像素点p的优先级函数值，确定以优先级最高的点为中心的目标块的大小根据点梯度值的大小动态地确定，选定的就是目前包含纹理信息最多的、将被填充的目标块，所述目标块中包括已知区域和未知区域；步骤4.寻找最佳匹配块：在源区域中，通过多值映射函数找到与目标块大小相同、且纹理信息和几何信息都最为相似的3个源块作为匹配块，匹配块统一用Ψq表示；再引入角度感知的概念，对这3个匹配块分别进行多次角度旋转，然后根据相似性度量函数计算出与待填充目标块最相似的匹配块，用表示；步骤5.填充目标块未知区域：将由步骤2得到的目标块未知区域中点的估计像素值和最相似匹配块中对应位置点的像素值取算术平均值，将此平均值填充到目标块中对应位置的待填充点；步骤6.更新被填充点的置信度值：更新在步骤5中被填充的目标块中像素点的置信度值；重复步骤3至步骤6，直到待修复区域被填充完整。以上各步骤的详细诠释在下面逐一列出。步骤1根据实际情况人为设定图像待修复区域，手动标识图像的破损区域。步骤2中提及的曲面拟合是指，将图像看作一个二维矩阵M，缺损区域用0进行填充。将矩阵M投影到三维子空间中，其中每个像素的灰度值作为三维点的高，缺损区域在三维空间中以孔洞的形式展现，从而矩阵补全转换成孔洞填充。然后通过移动最小二乘法进行曲面拟合，缺失像素的估计值通过从拟合曲面的投影点上重采样来获得，逼近矩阵与真实图像是近似的。步骤3中需要先确定边界δΩ上每个填充点p的优先级，找到具有最高优先级的点然后再决定以点为中心的目标块的大小。像素点p的优先级函数P(p)被定义为：P(p)＝C(p)Ds(p)(1)其中，C(p)是点p的置信度值，Ds(p)是点p的数据项的值；所述数据项是指沿着边界δΩ的等照度线的强度。(1)式中的置信度项C(p)用于测量目标块Ψp中可用像素的比率，即已知像素占整个目标块的像素数量的比例，定义如下：且其中，|Ψp|表示目标块Ψp中全部的像素点；C(k)表示点k的置信度值，其中k表示既属于Ψp又属于Φ的像素点；起初，源区域Φ的置信度值被初始化为1，待修复区域Ω的置信度值被初始化为0。由于C(p)下降的很快，为了降低置信度值的下降速度，同时又要保持新的被填充的像素比已经存在的像素有更小的置信度，因此设置了置信度的上限和下限。点为具有最高优先级的像素点，置信度上限被定义如下：其中，λ1是平衡因子，用来控制比例；λ2是平衡因子，用来控制的比例，λ1和λ2在(0,1)之间动态地调整，并且λ1＝1-λ2，λ1>λ2；是目标块的已知区域，是目标块的被初始化的待修复区域，并且的像素值在步骤2中的拟合后的曲面上被重采样而获得，置信度下限被设置为新的置信项被定义为Cn(k)：其中β是下降因子，用来控制置信度项的下降率，被设置为0.02。是像素和像素k的欧氏距离。为了固定所有块的下降速率，所以Cup被加到式(5)中。在置信度项C(p)的计算中，加入了步骤2中的估计值作为先验知识，充分考虑了破损区域带来的影响，避免置信度下降过快。所述估计值，是从拟合好的曲面上采样网格点的值作为缺失点的像素值，即为估计值。(1)式中的数据项Ds(p)被定义为：其中，是正交于梯度的等照度线矢量，np是正交于边界δΩ的单位矢量，α是归一化因子(如果I是灰度图像，那么α＝255)。D(p)表示点p的数据项的值。然而，当D(p)等于零时，P(p)是趋向于零的，为了消除影响，引入了一个曲率因子S(p)，其中是通过中心点p的等照度线的曲率因子；表示点p的梯度，表示梯度算子，表示梯度的大小。在确定了具有最高优先级的像素点之后，根据其梯度值的大小动态地调整目标块的大小，从而确定要填充的目标块。于是，本方法将图像分成高频和低频两部分，高频区域包含更加丰富的纹理信息，然而低频区域具有更光滑的部分。本文档来自技高网...

【技术保护点】
1.一种基于角度感知块匹配的图像修复方法，其特征是，包括以下6个步骤：步骤1.确定待修复区域：输入待修复图像，将待修复图像分为待修复区域Ω和源区域Φ，其中待修复区域就是图像中的缺损区域，即目标区域；目标区域与源区域的边界线为δΩ；步骤2.初始化破损区域：将残缺图像投影到三维子空间，利用移动最小二乘法将残缺部分填充完整得到拟合后的曲面，然后将从拟合曲面上重采样像素点的值作为缺失区域中对应像素的估计值，得到初始化的图像I'；步骤3.根据改进的优先级函数选择包含纹理信息最多的目标块

【技术特征摘要】
1.一种基于角度感知块匹配的图像修复方法，其特征是，包括以下6个步骤：步骤1.确定待修复区域：输入待修复图像，将待修复图像分为待修复区域Ω和源区域Φ，其中待修复区域就是图像中的缺损区域，即目标区域；目标区域与源区域的边界线为δΩ；步骤2.初始化破损区域：将残缺图像投影到三维子空间，利用移动最小二乘法将残缺部分填充完整得到拟合后的曲面，然后将从拟合曲面上重采样像素点的值作为缺失区域中对应像素的估计值，得到初始化的图像I'；步骤3.根据改进的优先级函数选择包含纹理信息最多的目标块将其确定为被填充的目标块：计算图像I'中边界δΩ上的所有像素点p的优先级函数值，确定以优先级最高的点为中心的目标块的大小根据点梯度值的大小动态地确定，选定的就是目前包含纹理信息最多的、将被填充的目标块，所述目标块中包括已知区域和未知区域；步骤4.寻找最佳匹配块：在源区域中，通过多值映射函数找到与目标块大小相同、且纹理信息和几何信息都最为相似的3个源块作为匹配块，匹配块统一用Ψq表示；再引入角度感知的概念，对这3个匹配块分别进行多次角度旋转，然后根据相似性度量函数计算出与待填充目标块最相似的匹配块，用表示；步骤5.填充目标块未知区域：将由步骤2得到的目标块未知区域中点的估计像素值和最相似匹配块中对应位置点的像素值取算术平均值，将此平均值填充到目标块中对应位置的待填充点；步骤6.更新被填充点的置信度值：更新在步骤5中被填充的目标块中像素点的置信度值；重复步骤3至步骤6，直到待修复区域被填充完整。2.如权利要求1所述的方法，其特征是，将待修复图像投影到三维空间，利用移动最小二乘法实现曲面拟合，然后将从拟合曲面上重采样像素点的值作为缺失区域中像素的估计值，得到初始化的图像I'，具体步骤包括：(1)将待修复图像视为一个二维矩阵M，缺损区域即待修复区域用0进行填充；(2)将矩阵M投影到三维空间中，其中每个像素的灰度值作为三维点的高，待修复区域在三维空间中以孔洞的形式展现，从而矩阵补全转换成孔洞填充；(3)通过移动最小二乘法MLS进行曲面拟合，得到拟合后的曲面，缺失像素的估计值通过从拟合曲面的投影点上重采样来获得，得到初始化的图像I'。3.如权利要求2所述的方法，其特征是，所述(3)中的通过移动最小二乘法MLS进行曲面拟合，得到拟合后的曲面的具体步骤包括：①对待拟合区域进行网格化处理；②确定每个网格点影响区域的面积大小；影响区域的面积大小是指以当前网格节点为圆心，固定半径长度为d的圆形区域的面积；③确定每个网格点影响区域内的所有已知像素点；④根据每个网格点影响区域内的所有已知像素点的坐标，拟合出每个网格点的坐标；⑤判断网格点是否全部被计算，如果是，则连接所有的网格点形成曲面，如果否，则返回②。4.如权利要求1所述的方法，其特征是，先计算图像I'中边界δΩ上的所有像素点p的优先级函数值，确定以优先级最高的点为中心的目标块的大小根据点梯度值的大小动态地确定，具体步骤包括：先计算图像I'中边界δΩ上每个像素点p的优先级函数值，从而找到具有最高优先级的像素点然后再确定以点为中心的目标块且根据点的梯度值的大小动态地调整目标块的大小。5.如权利要求4所述的方法，其特征是，利用优先级函数计算图像I'中边界δΩ上每个像素点p的优先级，然后确定优先级最高的像素点像素点p的优先级函数P(p)被定义为：P(p)＝C(p)Ds(p)(1)其中，C(p)是点p的置信度项，Ds(p)是点p的数据项；所述数据项是指沿着边界δΩ的等照度线的强度；(1)式中的置信度项C(p)用于测量以像素点p为中心的目标块Ψp中可用像素的比率，即Ψp中已知像素占整个目标块中像素数量的比例，定义如下：且其中，|Ψp|表示目标块Ψp中全部的像素点；C(k)表示点k的置信度值，其中k表示既属于Ψp又属于Φ的像素点；起初，源区域Φ的置信度值被初始化为1，待修复区域Ω的置信度值被初始化为0。在计算目标块优先级的过程中，由于C(p)下降的很快，通过对中像素点的置信度项设置上限和下限，来降低置信度值下降的速度同时又保持新的被填充的像素比已经存在的像素有更小的置信度；点为具有最高优先级的像素点，置信度上限被定义如下：其中，λ1是平衡因子，用来控制比例；λ2是平衡因子，用来控制的比例，λ1和λ2在(0,1)之间动态地调整，并且λ1＝1-λ2，λ1>λ2；是目标块的已知区域，是目标块的被初始化的待修复区域，并且的像素值在步骤2中的拟合后的曲面上被重采样而获得，置信度下限被设置为新的置信度项被定义为Cn(k)：其中β是下降因子，用来控制置信度项的下降率，被设置为0.02。是像素和像素k的欧氏距离。为了固定...

【专利技术属性】
技术研发人员：计华，计晓赟，张娜，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东,37