一种图像修复方法技术

本发明专利技术涉及一种图像修复方法，本发明专利技术首先将目标图像进行方向经验模型分解，并允许根据已有信息绘制给定待修复区域内已破坏的边结构信息，利用方向经验模型分解得到的频率特征值计算相似度先行完成整个受损区域内的边结构修复，然后再根据待修复区域边界上像素点的梯度特征结合置信度计算剩余填充区域的优先级，并再次利用分解得到的频率特征值计算相似度完成对应区域的修复。本发明专利技术的方法不仅能够修复较大尺度缺损区域中的结构和纹理信息，还能够修复具有一定遮挡关系的图像。修复过程鲁棒性高，有效地防止了错误信息的连续扩展。

【技术实现步骤摘要】

本专利技术涉及，属于计算机图像处理和计算机图形学领域，具体说是一种图像修复算法。
技术介绍
图像修复可以用来解决对破损的画作、照片等影像资料进行修复；可以用来去除 图像或视频中的某些特定目标；可以用来完成在数字图像或视频的获取、处理、传输和解压 縮过程中因信息丢失所留下的信息缺损区的修复；还可以用于进行超分辨率和高光去除等 技术的研究。这项技术涉及图像处理，计算机视觉，图形学，模式识别，人工智能，机器学习 等多个领域的技术。近年来，在图像和视频修复方面，国内外的研究者从不同的研究角度 出发提出了很多卓有成效的方法，根据出发点的不同，概括起来，其中代表性的方法大致可 以分为三类一类是基于偏微分方程(Partial DifferentialEquation， PDE)的修复方法， 如文献1 :M. Bertalmio， G Sapiro， V. Caselles， et al. . Imageinpainting. Proceedings of ACM SIGGRAPH. 2000,417-424.和文献2 :T. F. Chan and J. Shen， Variational image inpainting. Communications on Pure and Applied Mathematics. 2005，58(5) :579-619. 介绍的，该类方法适用于修复图像或视频中小尺度缺损；另一类是基于纹理合成(Texture Synthesis)的修复方法，如文献3 :A. Criminisi， P. P6rez， K. Toyama. Region filling and object removal by exemplar—based image i即ainting. IEEE Transactionson Image Processing. 2004， 13 (9) :1200-1212.禾P文献4 :J. Sun， L. Yuan, J. Jia， et al. Imagecompletion with structure propagation. ACM Transactions on Graphics. July 2005,24(3) :861-868.介绍的，该类方法适用于修复图像或视频中大尺度缺损；还 有一类是基于图像分解的修复技术，如文献5 :M. Bertalmio， L. Vese， G S即iro， et al.. Simultaneous structureand texture image inpainting. IEEE Transactions on Image Processing. 2003， 12(8) :882-889和文献6 :P. Perez，M. Gangnet， A. Blake. Poisson image editing. Proceedings of ACMSIGGRAPH. 2003， 313-318.介绍的，该类方法将上述两种方法 进行结合，但由于受基于偏微分方程的修复方法的限制比较大，所以也不适合修复图像或 视频中的大尺度缺损。 偏微分方程在图像处理领域的研究始于上世纪六、七十年代，最早用于图像去噪 方面的研究。到上世纪九十年代，偏微分方程在图像处理理论上有了较大的发展，并结合其 它的数学工具，如形态学、仿射几何、逼近论等，形成了较完整的理论体系。基于偏微分方程 的图像处理方法具有很好的数学基础，深入的理论背景，算法稳定性也较高。早期的图像修 复技术多数都是基于PDE来完成的，这类算法的主要思想是利用偏微分方程来做图像的修 复，它对待修复区域没有拓扑限制，而且插值由合适的PDE数值格式自动来完成。通过数值 方法来求解偏微分方程，计算出要填补的空洞处的线性结构，然后通过扩散过程把周围的 颜色填入空洞，达到修复的效果。 总体来说基于偏微分方程的数字修复算法往往是假设图像是光滑的，通过拟合函数计算采样得到破损区域处的颜色值，由于PDE模型中隐含着图像要求满足某种正则化条 件的假设，所以该方法只适合于非纹理图像或低纹理图像的修复，整体而言，PDE数字修复 算法求解比较复杂，计算速度慢，适合于修复比较小的裂纹、划痕等，但对纹理或结构较复 杂的区域修复效果不好，会产生一定的模糊效果，修复的区域越大模糊作用范围就越大。 与基于偏微分方程的方法相比，基于纹理合成的修复方法是一种有效的对图像修 复的方法，特别是对于修复区域较大的纹理图像修复效果更为显著，而且不会使修复区域 中间产生模糊。纹理合成的宗旨是根据已知的样本图像，生成一个新的纹理图像，并且新 生成的纹理图像并不能是原样本纹理简单的复制，但要与样本纹理在视觉上具有相似的效 果。数字修复是对图像或视频指定区域内的缺损信息进行估计的一个过程，其目的也是要 得到与待修复区域周围信息在视觉上比较连续或相似的图像信息。因而将纹理合成技术进 行扩展用于数字修复方面具有一定的可行性。 图像修复与纹理合成的相似点在于它们都是根据已经有的图像信息生成新的图 像信息，并需要对已有的图像进行采样分析，新生成的图像都需要保持和已有图像的相似 性。它们的区别在于，首先，在纹理合成过程中，存在固定的样本纹理，它根据样本纹理生 成新的纹理，但在图像修复过程中，不存在样本纹理，只能使用待修复图像区域周围的已知 图像作为样本纹理来完成修复；其次，在纹理合成过程中，需要合成的是一幅完整的纹理图 像，但在图像修复过程中，只需合成待修复区域内的图像，这就需要考虑待修复区域的边界 情况；另外，在合成随机纹理时，不需要考虑图像的结构信息，在合成规则或半规则的结构 纹理时，可直接利用纹理的结构相似性，提取其中的结构单元进行纹理合成，而在图像修复 中，只能根据待修复区域边界上的图像结构信息推测其内部的结构信息，修复图像的结构 信息要比纹理合成中保持纹理的结构信息难得多。 总体来说基于纹理合成的数字修复算法一般都通过在待修复区域边界确定当前 待修复的图像块，然后利用相似函数，在已知图像区域搜索匹配的源图像块，完成图像未知 部分的修复。由于许多自然图像中都含有丰富的纹理信息，若是待修复区域内没有太复杂 的图像边缘结构，这类算法的修复效果一般都比较好，相对于基于偏微分的修复算法，基于 纹理合成的修复算法简单，速度较快，能够修复大面积的图像区域。缺点是只适用于修复简 单的线型结构，对其它复杂结构修复效果比较差。 针对基于偏微分方程的修复方法对图像的结构信息修复效果较好，同时基于纹理 合成的修复方法对图像纹理细节信息修复效果较好的事实，近年来研究者试图将两种方法 结合起来，提出了基于图像分解的修复方法，分别修复图像结构和纹理细节。该类算法的 关键在于图像分解，也就是要将图像分解为两部分再进行分别修复一部分体现图像的结 构信息，并用基于偏微分方程的修复方法完成对应的修复，另一部分提供图像的纹理信息， 并用基于纹理合成的修复方法来完成对应的修复，最后合并两方面的修复结果得到最后的 修复好的图像。这些算法都对图像修复取得了相当不错的效果，但是由于现有方法受基于 偏微分方程修复方法的限制比较大，所以这类算法也不太适用于对较大面积图像区域本文档来自技高网...

【技术保护点】
一种图像修复方法，其特征在于，包括以下步骤：步骤一，对于给定的图像ｆ（ｘ，ｙ），选择待修复区域Ω，其中ｘ，ｙ表示像素点的坐标值；步骤二，利用方向经验模型对给定的图像ｆ（ｘ，ｙ）进行分解，得到三级以上图像；步骤三，根据已有信息修复每级分解所得图像的待修复区域中已破坏的边缘结构；步骤四，自动修复各级图像，以每级分解图像的边界上优先级最高的目标样本块作为一次迭代填充单位，重复以下步骤，直到填满各级图像被修复区域内的所有像素：步骤（１），利用梯度值、置信度计算各级图像边界区域的优先级，步骤（２），根据优先级、相似度和相关性搜索策略确定本次各级图像填充的目标样本块，完成对应区域的修复，步骤（３），更新本次迭代处理后的各级图像边界区域像素的置信度；其中，梯度值＊＊＊，其中，Ｎ表示像素ｑ的邻域面积，大小与待修复的目标样本块Ψ↓［ｔ］和源样本块为Ψ↓［ｓ］的大小相同，｜Ｎ｜表示Ｎ中所含像素个数；置信度＊＊＊，其中，Ｉ为原图像，Ω为待修复区域，当像素ｑ∈Ω，ｑ点处的置信度Ｄ（ｑ）初始化为０，否则初始化为１；对于给定中心位置在ｑｃ处的目标样本块Ψ↓［ｔ］，待修复区域Ω的边界为＊Ω，ｑ↓［ｃ］∈＊Ω，其优先级Ｐ（ｑ↓［ｃ］）＝Ｃ（ｑ↓［ｃ］）.Ｇ（ｑ↓［ｃ］），其中，Ｃ（ｑ↓［ｃ］）＝Σ↓［ｐ∈Ψ↓［ｔ］∩（Ｉ／Ω）］Ｄ（ｐ）／｜Ψ↓［ｔ］｜，｜Ψ↓［ｔ］｜表示待修复的目标样本块Ψ↓［ｔ］中所含像素个数，Ｇ（ｑ↓［ｃ］）为梯度值。...

【技术特征摘要】

【专利技术属性】
技术研发人员：张岩，孙正兴，陈俞蕾，杨克微，周杰，
申请(专利权)人：南京大学，
类型：发明
国别省市：84[中国|南京]