图像修补方法和图像修补装置制造方法及图纸

本发明专利技术提供了一种图像修补方法和图像修补装置，其中，图像修补方法，包括：确定待修补图像中包含有未知像素点的至少一个缺失块；对于所述至少一个缺失块中的任一缺失块，聚类得到所述任一缺失块的相似块，以形成由所述任一缺失块聚类得到的类；根据由所述任一缺失块聚类得到的类，构成具有低秩性质的矩阵；采用核范数逼近所述矩阵的秩，并采用奇异值阈值的方法对所述矩阵进行求解；根据对所述矩阵求解后的值，对所述待修补图像中的所述任一缺失块进行修补。本发明专利技术的技术方案提高了对图像中缺失块修补的准确性，有效地实现了对缺失块的图像进行修补的目的。

Image repairing method and image repairing device

The present invention provides a method for image inpainting and image inpainting device, which includes image repair method: determining repair image contains at least one block deletion of the unknown pixels; for the at least one piece missing any of the missing block, the lack of any clustering block similar blocks. To form by the lack of any get block clustering; according to the obtained by the absence of any block clustering, a matrix has low rank properties; the nuclear norm approximation the rank of matrix, and the singular value threshold method is used to solve the matrix; according to the matrix solution the value of the lack of any of the patches in the image repair. The technical proposal of the invention improves the accuracy of repairing the missing blocks in the image, and effectively realizes the repairing of the image of the missing blocks.

【技术实现步骤摘要】

本专利技术涉及图像处理
，具体而言，涉及一种图像修补方法和一种图像修补装置。
技术介绍
图像修补的目的是将含有残缺部分的图像尽可能恢复到原始的样子。在自然图像中普遍存在自相似性，比如重复的图案和结构等，这些自相似性包含了一些互补的信息，对于图像修补有很大的帮助。在图像修补领域中，错误隐藏这种方法正被广泛地研究，错误隐藏方法主要利用图像/视频的自相似性或者时间/空间上的关联来对图像进行处理。一种传统的错误隐藏方法是利用贝叶斯模型来估计图像中的缺失像素，在给定一个损坏的图像后，通过已有的像素来最大化未知像素的条件概率。Besag等人将贝叶斯模型应用于后验概率，然后通过先验概率来达到一个最优值。然而，先验概率模型往往不够精确甚至无法获得。在假设图像能够被局部建模为平稳高斯过程的情况下，Li和Orchard等人通过估计一个局部窗口的协方差来描述局部插值的系数从而提出了一个方向自适应的插值方案。但是，这个假设对图像不一定成立。最近，低秩矩阵/张量最小化的方法因为其通过稀少信息恢复数据的良好效果而受到关注，许多矩阵/张量修补的方法被提出来以重建丢失了像素的图像。对于那些有高度可重复性结构而丢失率很高的图像，这些方法有着很好的效果，但对其它图像这些方法的效果并不理想，也就是说这些方法仅对低秩的图像有良好的修复效果。Chen等人提出了一种修补丢失信息同时捕获潜在结构的方法，但是这种方法复杂度过高。Liu和Shang等人在张量核范数模型中引入了矩阵因子分解以得到一个规模更小的矩阵核范数最小化问题。不同于全局低秩，Ono等人提出了一个模块低秩的修复模型。Nguyen等人结合了非局部的图像块的群和低秩张量近似。Dong等人针对自然图像中的非局部相似性建模提出了一个低秩的方法并讨论它和同步稀疏编码的关系。然而，以上这些方法收集到的相似块之间可能不够相似，从而导致图像修复不成功。因此，如何能够有效地对图像中的缺失块进行修补成为亟待解决的技术问题。
技术实现思路
本专利技术正是基于上述技术问题至少之一，提出了一种新的图像修补方案，提高了对图像中缺失块修补的准确性，有效地实现了对缺失块的图像进行修补的目的。有鉴于此，本专利技术提出了一种图像修补方法，包括：确定待修补图像中包含有未知像素点的至少一个缺失块；对于所述至少一个缺失块中的任一缺失块，聚类得到所述任一缺失块的相似块，以形成由所述任一缺失块聚类得到的类；根据由所述任一缺失块聚类得到的类，构成具有低秩性质的矩阵；采用核范数逼近所述矩阵的秩，并采用奇异值阈值的方法对所述矩阵进行求解；根据对所述矩阵求解后的值，对所述待修补图像中的所述任一缺失块进行修补。在该技术方案中，在对图像中的缺失块进行修补时，针对任一缺失块，可以聚类得到任一缺失块的相似块，并建立一个低秩最小化模型(即具有低秩性质的矩阵)来恢复丢失区域，而在解决难解的低秩最小化模型时，本专利技术采用核范数逼近矩阵的秩以简化这个模型的求解，并在具体求解中应用到了奇异值阈值的方法，提高了对缺失块修补的准确性，有效地实现了对缺失块的图像进行修补的目的。在上述技术方案中，优选地，聚类得到所述任一缺失块的相似块的步骤，具体包括：对所述待修补图像进行多层下采，以得到多个下采图像；在所述待修补图像和所述多个下采图像中聚类得到所述任一缺失块的相似块。在该技术方案中，通过对待修补图像进行多层下采，以在待修补图像和多个下采图像中聚类得到任一缺失块的相似块，使得能够在待修补图像和多个下采图像中找到足够数量的相似块，以实现对图像进行修复的目的。其中，可以采用最近邻下采样的方法对待修补图像进行多层下采。在上述任一技术方案中，优选地，在所述待修补图像和所述多个下采图像中聚类得到所述任一缺失块的相似块的步骤之前，还包括：在对所述待修补图像进行多层下采的过程中，若所述下采图像中包含有丢失的像素点，则判断是否能够在进行下采操作前的图像中找到与所述下采图像中丢失的像素点对应的像素点周围未丢失的像素点；在判定能够找到所述未丢失的像素点时，通过所述未丢失的像素点的均值对所述下采图像中丢失的像素点进行初始化；以及在判定不能够找到所述未丢失的像素点时，通过双线性插值的方法对所述下采图像中丢失的像素点进行初始化。在该技术方案中，对下采图像中丢失的像素点进行的初始化过程具体是对下采图像中丢失的像素点进行预先的修补过程。在上述任一技术方案中，优选地，聚类得到所述任一缺失块的相似块的步骤，具体包括：在所述待修补图像中聚类得到所述任一缺失块的相似块。在上述任一技术方案中，优选地，根据对所述矩阵求解后的值，对所述待修补图像中的所述任一缺失块进行修补的步骤，具体包括：将所述矩阵求解后得到的块放置在所述任一缺失块所在的区域，以对所述任一缺失块进行修补。其中，在将矩阵求解后得到的块放置在任一缺失块所在的区域后，若存在缺失块重叠的位置，则在缺失块重叠覆盖的位置，可以根据该位置处重叠的像素块的数量来计算均值进行修补。根据本专利技术的另一方面，还提出了一种图像修补装置，包括：确定单元，用于确定待修补图像中包含有未知像素点的至少一个缺失块；聚类单元，用于对于所述至少一个缺失块中的任一缺失块，聚类得到所述任一缺失块的相似块，以形成由所述任一缺失块聚类得到的类；矩阵生成单元，用于根据由所述任一缺失块聚类得到的类，构成具有低秩性质的矩阵；处理单元，用于采用核范数逼近所述矩阵的秩，并采用奇异值阈值的方法对所述矩阵进行求解；修补单元，用于根据所述处理单元对所述矩阵求解后的值，对所述待修补图像中的所述任一缺失块进行修补。在该技术方案中，在对图像中的缺失块进行修补时，针对任一缺失块，可以聚类得到任一缺失块的相似块，并建立一个低秩最小化模型(即具有低秩性质的矩阵)来恢复丢失区域，而在解决难解的低秩最小化模型时，本专利技术采用核范数逼近矩阵的秩以简化这个模型的求解，并在具体求解中应用到了奇异值阈值的方法，提高了对缺失块修补的准确性，有效地实现了对缺失块的图像进行修补的目的。在上述任一技术方案中，优选地，所述聚类单元包括：采样单元，用于对所述待修补图像进行多层下采，以得到多个下采图像；执行单元，用于在所述待修补图像和所述多个下采图像中聚类得到所述任一缺失块的相似块。在该技术方案中，通过对待修补图像进行多层下采，以在待修补图像和多个下采图像中聚类得到任一缺失块的相似块，使得能够在待修补图像和多个下采图像中找到足够数量的相似块，以实现对图像进行修复的目的。其中，可以采用最近邻下采样的方法对待修补图像进行多层下采。在上述任一技术方案中，优选地，还包括：判断单元，用于在对所述待修补图像进行多层下采的过程中，若所述下采图像中包含有丢失的像素点，则判断是否能够在进行下采操作前的图像中找到与所述下采图像中丢失的像素点对应的像素点周围未丢失的像素点；初始化单元，用于在所述判断单元判定能够找到所述未丢失的像素点时，通过所述未丢失的像素点的均值对所述下采图像中丢失的像素点进行初始化，并用于在所述判断单元判定不能够找到所述未丢失的像素点时，通过双线性插值的方法对所述下采图像中丢失的像素点进行初始化。在上述任一技术方案中，优选地，所述聚类单元具体用于：在所述待修补图像中聚类得到所述任一缺失本文档来自技高网...

【技术保护点】
一种图像修补方法，其特征在于，包括：确定待修补图像中包含有未知像素点的至少一个缺失块；对于所述至少一个缺失块中的任一缺失块，聚类得到所述任一缺失块的相似块，以形成由所述任一缺失块聚类得到的类；根据由所述任一缺失块聚类得到的类，构成具有低秩性质的矩阵；采用核范数逼近所述矩阵的秩，并采用奇异值阈值的方法对所述矩阵进行求解；根据对所述矩阵求解后的值，对所述待修补图像中的所述任一缺失块进行修补。

【技术特征摘要】
1.一种图像修补方法，其特征在于，包括：确定待修补图像中包含有未知像素点的至少一个缺失块；对于所述至少一个缺失块中的任一缺失块，聚类得到所述任一缺失块的相似块，以形成由所述任一缺失块聚类得到的类；根据由所述任一缺失块聚类得到的类，构成具有低秩性质的矩阵；采用核范数逼近所述矩阵的秩，并采用奇异值阈值的方法对所述矩阵进行求解；根据对所述矩阵求解后的值，对所述待修补图像中的所述任一缺失块进行修补。2.根据权利要求1所述的图像修补方法，其特征在于，聚类得到所述任一缺失块的相似块的步骤，具体包括：对所述待修补图像进行多层下采，以得到多个下采图像；在所述待修补图像和所述多个下采图像中聚类得到所述任一缺失块的相似块。3.根据权利要求2所述的图像修补方法，其特征在于，在所述待修补图像和所述多个下采图像中聚类得到所述任一缺失块的相似块的步骤之前，还包括：在对所述待修补图像进行多层下采的过程中，若所述下采图像中包含有丢失的像素点，则判断是否能够在进行下采操作前的图像中找到与所述下采图像中丢失的像素点对应的像素点周围未丢失的像素点；在判定能够找到所述未丢失的像素点时，通过所述未丢失的像素点的均值对所述下采图像中丢失的像素点进行初始化；以及在判定不能够找到所述未丢失的像素点时，通过双线性插值的方法对所述下采图像中丢失的像素点进行初始化。4.根据权利要求1所述的图像修补方法，其特征在于，聚类得到所述任一缺失块的相似块的步骤，具体包括：在所述待修补图像中聚类得到所述任一缺失块的相似块。5.根据权利要求1至4中任一项所述的图像修补方法，其特征在于，根据对所述矩阵求解后的值，对所述待修补图像中的所述任一缺失块进行修补的步骤，具体包括：将所述矩阵求解后得到的块放置在所述任一缺失块所在的区域，以对所述任一缺失块进...

【专利技术属性】
技术研发人员：李马丁，夏思烽，刘家瑛，郭宗明，
申请(专利权)人：北京大学，北大方正集团有限公司，北京北大方正电子有限公司，
类型：发明
国别省市：北京;11