一种基于SVD近似矩阵约束的图像深度学习修复方法技术

本发明专利技术公开了一种基于SVD近似矩阵约束的图像深度学习修复方法，包括：步骤1，对待修复图像进行SVD分解，得到待修复图像的初步修复图像；步骤2，构建相似图像集合；步骤3，指定待修复图像中待修复区域，针对待修复区域边界上的每个待修复图像块，在相似图像集合中寻找和待修复图像块相似的图像块，构建相似图像块集合；步骤4，利用相似图像块集合训练深度生成神经网络模型；步骤5，以待修复图像块中的已知像素作为约束，利用深度生成神经网络模型生成待修复图像块像素；步骤6，更新待修复区域，若待修复区域为空，则修复完成；否则返回步骤3。本发明专利技术提供的图像深度学习修复方法，最终得到的修复图像在视觉上更加连续。

【技术实现步骤摘要】
一种基于SVD近似矩阵约束的图像深度学习修复方法
本专利技术涉及计算机图像处理
，具体涉及一种基于SVD近似矩阵约束的图像深度学习修复方法。
技术介绍
图像修复就是重建一幅图像中的缺失区域的过程，通常会使用缺失区域周围的像素信息。修复的目的，就是构建一幅完整的人眼“可观察”的正常图像。图像修复最早是由Bertalmio等人提出的，常见的一些修复方法都是基于PDE的，也就是通过解偏微分方程的的方程完成修复。Dallester等人基于变分提出了一种新的偏微分方程；Levin等人提出了一种基于梯度域的图像修复方法；Alilou等人提出了一种使用GRNN神经网络的方法，但是对于纹理丰富，缺损区域较大的图像，这些方法都有其局限性。近期，Xu和Sun利用稀疏表达的思想，提出了一种基于实例的修复方法，但是这种方法需要一个先验，即假设缺失区域可以用候选的图像块的线性组合来表达。
技术实现思路
本专利技术提供了一种基于SVD近似矩阵约束的图像深度学习修复方法，最终得到的修复图像在视觉上更加连续。一种基于SVD近似矩阵约束的图像深度学习修复方法，包括：步骤1，对待修复图像进行SVD分解，通过将相应奇异值置为零的操作，得到待修复图像的初步修复图像；步骤2，构建相似图像集合，相似图像集合中的各图像与待修复图像的初步修复图像具有相似性；步骤3，指定待修复图像中待修复区域，针对待修复区域边界上的每个待修复图像块，在相似图像集合中寻找和待修复图像块相似的图像块，相似图像块的集合构成相似图像块集合；步骤4，利用相似图像块集合训练深度生成神经网络模型；步骤5，以待修复图像块中的已知像素作为约束，利用训练好的深度生成神经网络模型生成待修复图像块像素；步骤6，更新待修复区域，若待修复区域为空，则修复完成；否则返回步骤3。步骤1中，对待修复图像进行奇异值分解，能够在一定程度上分离待修复区域，使最终修复得到的图像在视觉上更加连续。本专利技术利用深度生成神经网络模型学习相似图像块的分布特征，学习完成之后，利用深度生成神经网络模型生成具有相应分布特征的图像块，利用生成的图像块进行图像修复，修复得到的图像更加符合图像概率分布，视觉上更连续。深度生成神经网络模型生成的图像块可以与相似图像块集合中的图像块相同或不同，生成的图像块更加多样，以达到更好的修复效果。作为优选，步骤1中，待修复图像的初步修复图像的具体获取过程如下：步骤1-1，对待修复图像I进行SVD分解，数学表达式如下：[USV]＝SVD(I)式中：SVD表示奇异值分解操作，U,S,V分别表示分解得到的左奇异矩阵、对角矩阵和右奇异矩阵，其中，对角矩阵的对角线元素为降序排列的奇异值；步骤1-2，对角矩阵S的对角元素为s11,s22,s33...snn，其中n为奇异值个数，且满足s11≥s22≥s33≥...snn≥0，进行如下迭代操作：步骤1-2-1，将对角矩阵S的最后奇异值改为零，得到数学表达如下：记则步骤1-2-2，记利用SSIM方法计算I和In之间的相似性，SSIM方法的计算公式如下：其中，x,y表示两个待比较的图像块，μx,μy分别为x,y的均值，σx,σy分别为x,y的标准差，σxy为x,y的协方差，c1、c2为两个常数；步骤1-2-3，将SSIM(x,y)与阈值进行比较，如果小于等于阈值，迭代停止，初步修复图像为否则，令n＝n-1，返回步骤1-2-1，继续迭代。作为优选，步骤2中，从互联网中抓取不少于1000万张图像构成互联网图像集合，利用SSIM方法计算互联网图像集合中各图像与所述初步修复图像的相似性，从互联网图像集合中选取适量与初步修复图像具有相似性的图像，构成所述相似图像集合，相似图像集合中各图像的分辨率相同。从互联网中抓取图像采用现有的爬虫软件实现，相似图像和相似图像块均来自于互联网，不局限于待修复图像中的图像块，图像块内容更加丰富，修复完成的图像更加逼近真实情况。作为优选，步骤3中，针对待修复区域边界上的每个像素点，将以该像素点为中心，大小为s的图像作为一个待修复图像块，针对每个待修复图像块进行如下操作：步骤3-1，在相似图像集合的各图像中提取大小为s的图像块，各图像中除边界区域外每个像素对应一个以该像素为中心点的图像块，利用SSIM方法计算各图像块与待修复图像块的相似性，s为常数；步骤3-2，将各SSIM值从小到大依次排序，选择前K个SSIM值对应的图像块，作为相似图像块集合，K为常数。s通常选择7×7，即宽高各为7个像素的区域。划分图像块时，采用大小为7×7的窗口，以2个像素为步长，由左至右，由上至下扫描图像。K表示图像块的个数，将图像宽高的像素个数相乘，然后开二次方取整，得到K的取值，K的大小通常不小于10000。本申请中计算图像与图像之间的相似度、以及图像块与图像块之间的相似度时，均采用SSIM方法。与现有技术相比，本专利技术的有益效果如下：(1)利用奇异值分解，得到近似矩阵，在一定程度上能够分离待修复区域，使最终修复的图像在视觉上更加连续；(2)利用相似图像块集合训练深度生成神经网络，深度生成神经网络通过学习到的特征来生成待修复图像块，最终修复的图像更加符合图像的概率分布；(3)利用深度生成神经网络生成的待修复图像块不一定是现有的图像内容，可以生成与训练用的相似图像块不同的图像，生成的待修复图像块更加多样。附图说明图1为本专利技术深度生成神经网络模型的示意图。具体实施方式下面结合附图，对本专利技术基于SVD近似矩阵约束的图像深度学习修复方法做详细描述。一种基于SVD近似矩阵约束的图像深度学习修复方法，包括如下步骤：(1)从互联网上通过爬虫软件抓取一定数量的图像(利用目前最常用的图像抓取方法，本实施例中抓取图像数量为1000万张)，通过软件预处理成分辨率相同的图像，将这些图像集合作为互联网图像集合；(2)对待修复图像进行SVD分解，通过将相应的奇异值置为零的操作，得到待修复图像矩阵的近似矩阵；记输入的待修复图像为I(本实施例中，待修复图像I的大小为256×256)，标记待修复区域为Ω，指定待修复区域的边界像素点集合如果Ω为空，则处理过程结束。对输入的待修复图像I做如下初步修复操作：(2-1)对待修复图像I做SVD分解：[USV]＝SVD(I)其中，SVD表示奇异值分解操作，U,S,V分别表示最终分解得到的左奇异矩阵、对角矩阵和右奇异矩阵，其中对角矩阵中对角线元素为降序排列的奇异值。(2-2)记上述分解得到的对角矩阵S的对角元素为s11,s22,s33...snn，其中n为奇异值个数(本实施例中，n＝256)，且满足s11≥s22≥s33≥...snn≥0，现进行以下迭代操作：(2-2-1)令snn＝0，计算其中U,V分别为(2-1)计算得到的左奇异矩阵和右奇异矩阵，为将S最后奇异值snn改为零后得到的矩阵，符号表示为：记则(2-2-2)按照以下公式，计算I、In之间的相似性：其中，x,y表示两个待比较的图像块，μx,μy分别为x,y的均值，σx,σy分别为x,y的标准差，σxy为x,y的协方差，c1、c2为两个常数(本实施例中，c1＝6.5，c2＝58.5)(2-2-3)将计算得到的值与一个阈值thr＝0.85比较，如果小于等于阈值，则迭代停止，这个时候的“近似”图像记为Τ本文档来自技高网...

【技术保护点】
1.一种基于SVD近似矩阵约束的图像深度学习修复方法，其特征在于，包括：步骤1，对待修复图像进行SVD分解，通过将相应奇异值置为零的操作，得到待修复图像的初步修复图像；步骤2，构建相似图像集合，相似图像集合中的各图像与待修复图像的初步修复图像具有相似性；步骤3，指定待修复图像中待修复区域，针对待修复区域边界上的每个待修复图像块，在相似图像集合中寻找和待修复图像块相似的图像块，相似图像块的集合构成相似图像块集合；步骤4，利用相似图像块集合训练深度生成神经网络模型；步骤5，以待修复图像块中的已知像素作为约束，利用训练好的深度生成神经网络模型生成待修复图像块像素；步骤6，更新待修复区域，若待修复区域为空，则修复完成；否则返回步骤3。

【技术特征摘要】
1.一种基于SVD近似矩阵约束的图像深度学习修复方法，其特征在于，包括：步骤1，对待修复图像进行SVD分解，通过将相应奇异值置为零的操作，得到待修复图像的初步修复图像；步骤2，构建相似图像集合，相似图像集合中的各图像与待修复图像的初步修复图像具有相似性；步骤3，指定待修复图像中待修复区域，针对待修复区域边界上的每个待修复图像块，在相似图像集合中寻找和待修复图像块相似的图像块，相似图像块的集合构成相似图像块集合；步骤4，利用相似图像块集合训练深度生成神经网络模型；步骤5，以待修复图像块中的已知像素作为约束，利用训练好的深度生成神经网络模型生成待修复图像块像素；步骤6，更新待修复区域，若待修复区域为空，则修复完成；否则返回步骤3。2.如权利要求1所述的基于SVD近似矩阵约束的图像深度学习修复方法，其特征在于，步骤1中，待修复图像的初步修复图像的具体获取过程如下：步骤1-1，对待修复图像I进行SVD分解，数学表达式如下：[USV]＝SVD(I)式中：SVD表示奇异值分解操作，U,S,V分别表示分解得到的左奇异矩阵、对角矩阵和右奇异矩阵，其中，对角矩阵的对角线元素为降序排列的奇异值；步骤1-2，对角矩阵S的对角元素为s11,s22,s33...snn，其中n为奇异值个数，且满足s11≥s22≥s33≥...snn≥0，进行如下迭代操作：步骤1-2-1，将对角矩阵S的最后奇异值改为零，得到数学表达如下：...

【专利技术属性】
技术研发人员：张根源，陆琼，
申请(专利权)人：浙江传媒学院，
类型：发明
国别省市：浙江,33