一种基于连分式插值技术的自适应图像修补方法及其系统技术方案

本发明专利技术涉及一种基于连分式插值技术的自适应图像修补方法及其系统，与现有技术相比解决了修复效果差、效率低的缺陷。本发明专利技术包括以下步骤：初始化图像特征分析；利用一元连分式插值技术进行划痕图像破损点的修补；利用二元连分式插值技术进行划痕图像的再修补，将初始的修补图像A作为信息图像，由掩模图来确定每一个破损点的位置，由破损点周围的像素信息采用二元连分式插值更新得到每个破损点的像素信息，得到最终的修补图像B。本发明专利技术提高了图像修补的质量和效率，能够修改任意类型的划痕，适用于所有的图像处理。

【技术实现步骤摘要】
一种基于连分式插值技术的自适应图像修补方法及其系统
本专利技术涉及图像处理
，具体来说是一种基于连分式插值技术的自适应图像修补方法及其系统。
技术介绍
图像修复是对图像中损坏的部分用一定的方式进行修补，使之成为一幅完整的图像。图像修复在图像处理、电影工业等行业中有着广泛的应用，比如照片和老电影中的划痕去除、图像中的文字和遮挡物去除等都与图像修复有关。因而，图像修复具有重大的应用前景，是当前计算机视觉和计算机图形学的一个研究热点。现阶段有很多研究人员已经提出了不同的图像修补方法，并取得了一定的成功，但是这些方法缺乏通用性、修补不够完整、同时处理的边界模糊。其中，基于偏微分方程的方法和基于纹理合成的方法是目前最常见的修补方法。基于偏微分方程的图像修复方法是通过沿着图像中像素点的等照度线的方向，将修复区域周围的信息迭代到待修复区域内，一直到该图像填充完整为止。这种基于偏微分方程的方法有一定的修复效果，但是缺乏稳定性，尤其是在处理背景较大的纹理图时不能得到很好的效果。纹理合成方法是另一种修复方法，该方法首次在纹理合成中采用Markov随机场模型。实践证明，基于纹理合成的方法在处理时往往不能解决边界模糊问题，因而无法实际应用。例如，如图3所示，图3为待修补的图像。1、使用文献[1]和文献[2]的方法进行修复，([1]XingHuo,JieqingTan,andMinHu.AnautomaticvideoscratchremovalbasedonThieletypecontinuedfraction,MultimediaToolsandApplications,vol.71,no.2,pp.451-467,2014.[2]XingHuo,JieqingTan.Anovelnon-linearmethodofautomaticvideoscratchremoval,Proceedings-4thInternationalConferenceonDigitalHome,pp.39-45,2012.)通过使用一元连分式修补的方法(即目前最新的采用一元连分式来进行图像修补的方法，具体算法详见文献[1][2]，其中文献[1]是文献[2]的一种改进方法)处理后，如图5所示，该方法只能基本的恢复出划痕部位的图像。2、通过使用文献[3]二元连分式修补的方法处理后，结果如图6所示，([3]XingHuo,JieqingTan.Bivariaterationalinterpolantinimageinpainting,JournalofInformationandComputationalScience,vol.2,no.3,pp.487-492,2005.文献[3]为目前最新的采用二元连分式进行图像修补的方法)，该方法相对于一元连分式修补的方法来说能够较好的修补划痕，但是整体图像修补的效果并不好，图像较模糊。由此可以发现，针对目前各种修补技术存在的局限性，在现有的硬件条件下，如何设计出一种高效、简单的修补方法已经成为当今急需解决的技术问题。
技术实现思路
本专利技术的目的是为了解决现有技术中修复效果差、效率低的缺陷，提供一种基于连分式插值技术的自适应图像修补方法及其系统来解决上述问题。为了实现上述目的，本专利技术的技术方案如下：一种基于连分式插值技术的自适应图像修补方法，包括以下步骤：初始化图像特征分析，对输入的划痕图像进行分析，判断该划痕图像是灰度图像还是彩色图像；若为彩色图像，则将该彩色图像沿着R、G、B三个颜色通道分别按照灰度图像的方式执行；利用一元连分式插值技术进行划痕图像破损点的修补，通过输入的掩模图来获取对应的划痕图像中的每个待修补点的位置，然后以该划痕图像的信息矩阵为目标逐行检测这些待修补点，针对每个待修补点自适应的选择出周围的已知像素点作为采样点，由这些采样点结合一元连分式有理插值重构出每个待修补点的像素信息，得到初始的修补图像A；利用二元连分式插值技术进行划痕图像的再修补，将初始的修补图像A作为信息图像，由掩模图来确定每一个破损点的位置，由破损点周围的像素信息采用二元连分式插值更新得到每个破损点的像素信息，得到最终的修补图像B。所述的利用一元连分式插值技术进行划痕图像破损点的修补包括以下步骤：划痕图像破损点的确定，输入划痕图像的掩模图，将掩模图与划痕图像进行重叠，获取到划痕图像的待修补点；自适应选择插值采样点，读取划痕图像的破损信息矩阵，自适应的选择出离待修补点(x,y)最近的4个已知像素点，将这4个已知像素点构成插值采样点；破损点像素值的计算，由4个已知像素点结合一元连分式插值函数计算出该破损点的像素值，其包括以下步骤：将一元连分式插值格式定义为：其中，bi＝φ[x0,x1,…,xi；y](i＝0，…,m)是函数f(x,y)在点x0,x1,…,xi的逆差商，m是输入图像的长度，满足如下：φ[xi；y]＝f(xi；y),i＝0,1,2,…,m,采用待修补点(x,y)周围的4个已知像素点的信息结合一元连分式插值函数计算出该待修补点的像素值R1(x,y)；其中，b0＝φ[x0；y]＝f(x0；y)，上式中f(x0；y),f(x1；y),f(x2；y),f(x3；y)分别为4个已知像素点(x0,y),(x1,y),(x2,y),(x3,y)的像素值，R1(x,y)为计算出来的待修补点(x,y)的像素值；按照从左到右、从上到下的方向顺序检测划痕图像中每一个待修补点，均进行自适应选择插值采样点步骤和破损点像素值的计算步骤，得到初始的修补图像A。所述的利用二元连分式插值技术进行划痕图像的再修补包括以下步骤：二元插值采样点的确定，读取初始的修补图像A并将其作为信息矩阵，将掩模图与初始的修补图像A进行重叠，获取到初始的修补图像A的待修补点位置，由待修补点(x,y)周围的16个已知像素信息构成插值像素点；对待修补点(x,y)搜索找到其周围邻近的16个像素点，根据待修补点的坐标位置，依次选择：将以上16个像素点作为二元插值采样点；破损点像素值的更新，由二元插值采样点结合二元连分式插值函数计算出该破损点的像素值，并更新代替原有修补图像A中该点的像素值，其包括以下步骤：将二元连分式插值格式定义为：其中，i＝0,1,…,m，m、n分别为输入图像的长、宽；其中，为Newton–Thiele型混合差商；构造的二元向量有理函数满足：采用待修补点(x,y)周围的16个像素点作为二元插值采样点，即结合二元向量有理函数计算得到该待修补点的像素值R2(x,y)；R2(x,y)＝B0(y)+2B1(y)+2B2(y)-2B3(y)，其中，x0′＝x-2,x1′＝x-1,x2′＝x+1,x3′＝x+2，y0′＝y+2,y1′＝y+1,y2′＝y-1,y3′＝y-2，其中，φNT[x0′,…,xi′；y0′,…,yj′],i＝0,1,2,3,j＝0,1,2,3,为Newton–Thiele型混合差商，x0′＝x-2,x1′＝x-1,x2′＝x+1,x3′＝x+2，y0′＝y+2,y1′＝y+1,y2′＝y-1,y3′＝y-2，上式中φNT[xi′；yj′]满足：φNT[xi′；yj′]＝f(xi′,yj′),其中f(xi′,yj′),为对应的已知像素点(本文档来自技高网...

【技术保护点】
一种基于连分式插值技术的自适应图像修补方法，其特征在于，包括以下步骤：11)初始化图像特征分析，对输入的划痕图像进行分析，判断该划痕图像是灰度图像还是彩色图像；若为彩色图像，则将该彩色图像沿着R、G、B三个颜色通道分别按照灰度图像的方式执行；12)利用一元连分式插值技术进行划痕图像破损点的修补，通过输入的掩模图来获取对应的划痕图像中的每个待修补点的位置，然后以该划痕图像的信息矩阵为目标逐行检测这些待修补点，针对每个待修补点自适应的选择出周围的已知像素点作为采样点，由这些采样点结合一元连分式有理插值重构出每个待修补点的像素信息，得到初始的修补图像A；13)利用二元连分式插值技术进行划痕图像的再修补，将初始的修补图像A作为信息图像，由掩模图来确定每一个破损点的位置，由破损点周围的像素信息采用二元连分式插值更新得到每个破损点的像素信息，得到最终的修补图像B。

【技术特征摘要】
1.一种基于连分式插值技术的自适应图像修补方法，其特征在于，包括以下步骤：11)初始化图像特征分析，对输入的划痕图像进行分析，判断该划痕图像是灰度图像还是彩色图像；若为彩色图像，则将该彩色图像沿着R、G、B三个颜色通道分别按照灰度图像的方式执行；12)利用一元连分式插值技术进行划痕图像破损点的修补，通过输入的掩模图来获取对应的划痕图像中的每个待修补点的位置，然后以该划痕图像的信息矩阵为目标逐行检测这些待修补点，针对每个待修补点自适应的选择出周围的已知像素点作为采样点，由这些采样点结合一元连分式有理插值重构出每个待修补点的像素信息，得到初始的修补图像A；13)利用二元连分式插值技术进行划痕图像的再修补，将初始的修补图像A作为信息图像，由掩模图来确定每一个破损点的位置，由破损点周围的像素信息采用二元连分式插值更新得到每个破损点的像素信息，得到最终的修补图像B。2.根据权利要求1所述的一种基于连分式插值技术的自适应图像修补方法，其特征在于，所述的利用一元连分式插值技术进行划痕图像破损点的修补包括以下步骤：21)划痕图像破损点的确定，输入划痕图像的掩模图，将掩模图与划痕图像进行重叠，获取到划痕图像的待修补点；22)自适应选择插值采样点，读取划痕图像的破损信息矩阵，自适应的选择出离待修补点(x,y)最近的4个已知像素点，将这4个已知像素点构成插值采样点；23)破损点像素值的计算，由4个已知像素点结合一元连分式插值函数计算出该破损点的像素值，其包括以下步骤：231)将一元连分式插值格式定义为：其中，bi＝φ[x0,x1,…,xi；y](i＝0，…,m)是函数f(x,y)在点x0,x1,…,xi的逆差商，m是输入图像的长度，满足如下：φ[xi；y]＝f(xi；y),i＝0,1,2,…,m,232)采用待修补点(x,y)周围的4个已知像素点的信息结合一元连分式插值函数计算出该待修补点的像素值R1(x,y)；其中，b0＝φ[x0；y]＝f(x0；y)，上式中f(x0；y),f(x1；y),f(x2；y),f(x3；y)分别为4个已知像素点(x0,y),(x1,y),(x2,y),(x3,y)的像素值，R1(x,y)为计算出来的待修补点(x,y)的像素值；24)按照从左到右、从上到下的方向顺序检测划痕图像中每一个待修补点，均进行自适应选择插值采样点步骤和破损点像素值的计算步骤，得到初始的修补图像A。3.根据权利要求1所述的一种基于连分式插值技术的自适应图像修补方法，其特征在于，所述的利用二元连分式插值技术进行划痕图像的再修补包括以下步骤：31)二元插值采样点的确定，读取初始的修补图像A并将其作为信息矩阵，将掩模图与初始的修补图像A进行重叠，获取到初始的修补图像A的待修补点位置，由待修补点(x,y)周围的16个已知像素信息构成插值像素点；对待修补点(x,y)搜索找到其周围邻近的16个像素点，根据待修补点的坐标位置，依次选择：(x-2,y+2)(x-2,y+1)(x-2,y-1)(x-2,y-2)(x-1,y+2)(x-1,y+1)(x-1,y-1)(x-1,y-2)(x+1,y+2)(x+1,y+1)(x+1,y-1)(x+1,y-2)，(x+2,y+2)(x+2,y+1)(x+2,y-1)(x+2,y-2)将以上16个像素点作为二元插值采样点；32)破损点像素值的更新，由二元插值采样点结合二元连分式插值函数计算出该破损点的像素值，并更新代替原有修补图像A中该点的像素值，其包括以下步骤：321)将二元连分式插值格式定义为：

【专利技术属性】
技术研发人员：何蕾，檀结庆，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽,34