基于结构自相似性和低秩矩阵表示的图像盲复原方法技术

基于结构自相似性和低秩矩阵表示的图像盲复原方法属于计算机图形学和数字图像处理领域。该方法分离噪声的处理和清晰图像的估计，直接利用图像不同尺寸或相同尺寸间的结构自相似性，并利用图像中的非邻域相似图像块组成一个相似图像块组，对该相似图像块组进行整体的低秩矩阵表示。本发明专利技术对图像的噪声和模糊均做了有效地处理，使得该方法的抗噪能力增强，在复原过程中，不会因为噪声的出现而导致无法准确地估计出点扩散函数，从而复原的效果变差，甚至是无法复原出原始的清晰图像。实验表明，本方法能够准确地估计点扩散函数，复原清晰图像，去除噪声，并具有很好的鲁棒性。

Blind image restoration based on structure self similarity and low rank matrix representation

The image blind restoration method based on structure self similarity and low rank matrix representation belongs to the field of computer graphics and digital image processing. The separation method of estimation noise processing and clear image, the direct use of images of different sizes or the same size between the structure of self similarity, and the use of non neighborhood image in similar image blocks composed of a group of similar image blocks, the similar image blocks were low rank matrix integral representation. The invention of the image noise and fuzzy are done effectively, which makes the method of anti noise ability during the recovery process, not because of the emergence of the noise and can not accurately estimate the point spread function, so as to recover the effect of variation, or even to restore a clear image of the original. The experiment shows that this method can accurately estimate the point diffusion function, restore clear image, remove noise, and have good robustness.

【技术实现步骤摘要】
基于结构自相似性和低秩矩阵表示的图像盲复原方法
本专利技术属于计算机图形学和数字图像处理领域，涉及一种基于结构自相似性和低秩矩阵表示的图像盲复原方法。
技术介绍
随着数字成像设备越来越广泛的使用，数字图像在科学研究和日常生活中使用频率越来越高。但是在图像采集过程中，由于环境、设备、操作等因素，获得的图像往往会存在一定程度上的模糊和噪声。在日常摄影、天文成像、遥感成像、医学成像和微波成像等领域，这些模糊噪声图像对我们的工作与生活均造成了严重的影响。图像复原问题就是研究如何从这些模糊噪声图像中复原出原始清晰图像。在模糊均匀的条件下，图像的降质模型可以表示为g＝f*h+n(1)其中，g为模糊噪声图像，f为原始清晰图像，h代表点扩散函数，n代表噪声，*为卷积运算。根据点扩散函数h是否已知，图像复原问题可以分为图像非盲复原问题和图像盲复原问题。图像盲复原问题，指的是当点扩散函数未知时，利用模糊噪声图像同时复原出点扩散函数和原始清晰图像。图1说明了模糊噪声图像、原始清晰图像、点扩散函数以及噪声之间的关系。图像盲复原问题的解不唯一，所以在实际求解的过程中，需要引入关于点扩散函数或者原始清晰图像的先验知识。同时图像盲复原问题也是一个病态问题，即在缺少噪声的先验知识时，通常图像盲复原方法会放大噪声，导致我们无法准确地估计点扩散函数和原始清晰图像。在很多情况下，即使我们用了最先进的设备获取图像，也无法避免噪声的存在，而目前绝大多数图像复原方法均假设在低噪声条件下，当噪声水平较高时，复原结果往往会出现严重的噪声现象，甚至无法复原。2009年，Krishnan和Fergus就在已知噪声水平的情况下，对图像复原做了研究，他们利用超拉普拉斯模型作为正则化约束条件复原图像，得到很好的效果。2013年，Liu和Tanaka等人针对仅存在噪声，不存在模糊现象的有噪图像进行复原操作，提出了基于图像块的噪声估计算法。2016年，Perrone和Favaro提出了一种基于全变分正则化的图像盲复原算法，该方法舍弃了不必要的约束项，仅仅利用极其简单的全变分方法，也达到了很好的复原效果。但是上述这些算法仅仅对于单一去噪或者单一去模糊方面有很好的效果，当模糊图像同时存在一定程度的噪声时，复原效果往往并不理想。
技术实现思路
针对现有的图像复原算法存在的问题，本专利技术提出了一种基于结构自相似性和低秩矩阵表示的模糊噪声图像盲复原方法。该方法试图分离噪声的估计和清晰图像以及点扩散函数的估计，利用低秩矩阵表示的显著去噪能力和结构自相似性算法的良好去模糊能力来更好地复原模糊噪声图像。本方法将结构自相似性和低秩矩阵表示作为正则化约束，针对自然图像自身结构上的相似性，对图像中每一个图像块，在其相同尺度的图像中搜索与之相似的多个图像块，并将得到的相似图像块合并成一个相似图像块组，对该相似图像块组整体进行低秩矩阵表达。由于在相似图像块组中，噪声更加稀疏，即更符合低秩矩阵表示模型的假设，从而能够更加容易地从图像中分离噪声。另一方面，本方法在不同尺度的图像中也搜索与之相似的多个图像块，用它们的线性组合重建该图像块，达到更好的图像复原的效果。通过结合结构自相似性和低秩矩阵表示两种方法，既针对噪声做了处理，提高了复原操作的去噪能力，减少了噪声对盲解卷积方法的干扰，又结合了图像块内局域空间的相似性和相似图像块组中图像块与图像块之间的非局域空间的相似性，该方法目标函数的最优化问题为：其中，g为模糊噪声图像，f为原始清晰图像，h代表点扩散函数，为图像的梯度算子，为2-范数的平方运算，min为最小化运算。式(2)中第一项为数据保真项；第二项为低秩矩阵表示的约束项，P为相似图像块组的数据矩阵，Z为相似图像块组的低秩矩阵表示，D为低秩矩阵表示的字典，本方法将相似图像块组的数据矩阵本身作为字典，即D＝P；第三项为多尺度图像结构自相似的约束项，X为清晰图像数据，Xα为X的降采样图像，降采样因子为α＝4/3，QjX为从清晰图像X中抽取的图像块，RiXα为从降采样图像Xα中抽取的图像块，Qj和Ri表示抽取矩阵，即从清晰图像中抽取的第j块和从降采样图像中抽取的第i块，Sj为降采样图像Xα中与清晰图像块QjX最相似图像块的下标集合，为RiXα线性表示QjX的权重，相似图像块之间的均方误差越小，说明图像块RiXα和QjX的相似度越高，t＝1为控制各相似图像块权重相对大小的常数；第四项为梯度约束项，通过约束复原图像的梯度从而抑制噪声；第五项为点扩散函数的正则化约束项；λd＝0.5、λs＝0.15、λf＝0.001和λh＝0.0015为正则化常数。基于结构自相似性和低秩矩阵表示的模糊噪声图像盲复原方法，包括以下步骤：步骤1：模糊图像噪声的去除：步骤(1.1)对图像进行部分重叠的图像块划分：对模糊图像M×N为模糊图像的大小，M、N分别表示其行数和列数，以q×q＝11×11为图像块尺寸，s＝1(s＜q)为步长进行部分重叠的图像块划分，从而获得图像块矩阵，并按列表示为：其中，为图像块个数。步骤(1.2)利用欧氏距离作为衡量标准，代表pi中的第m个元素，在图像块矩阵中搜索前K＝9个相似图像块,组成相似图像组PK＝[p1,...,pK],步骤(1.3)对相似图像组PK进行低秩矩阵表示，即将数据矩阵PK表示成字典矩阵D与系数矩阵ZK的线性组合，即PK＝DZK,并希望系数矩阵ZK是低秩的，即rank(ZK)＜＜MN，rank(ZK)表示矩阵ZK的秩，MN为矩阵元素的总个数，本方法中rank(ZK)≤5时认为ZK是低秩的。所以，低秩矩阵表示的优化问题为本方法将数据矩阵PK本身作为字典矩阵，即D＝PK，将优化问题凸松弛后得到：其中，||·||*为核函数运算，考虑到噪声这个影响因素后，最优化问题可表示为：其中，E为噪声矩阵，‖·‖2,1为噪声矩阵每一行的2-范数之和，λ为对噪声矩阵E的系数约束参数，在迭代过程中自适应的调整。求解上述最优化问题可得到相似图像组PK的低秩矩阵表示ZK。步骤(1.4)对低秩矩阵表示ZK中的相似图像块进行加权平均，得到每一个图像块的重建数据，然后对图像块的重叠区域进行平均，得到经过低秩矩阵表示复原的图像。步骤2：点扩散函数的估计：由于式(2)所示的最优化问题是非凸的，所以没有闭式解，本方法采用交替迭代求解的方法来估计模糊核h和原始清晰图像f。为了能够估计较大的模糊核，并在一定程度上加快方法的收敛速度，在估计模糊核的过程中，利用图像金字塔方法来求解，对金字塔的每一层进行模糊核和原始清晰图像的估计，并对当前层所估计的清晰图像进行插值运算，将插值结果作为下层金字塔中清晰图像估计的初始值。步骤(2.1)固定当前清晰图像的估计f，计算并更新对模糊核的估计h。在第一层金字塔中，本方法采用原始模糊图像当作清晰图像估计的初始值。步骤(2.2)固定模糊核的估计h，用结构自相似性作为正则化约束条件对上一次迭代中估计的清晰图像f进行重建。步骤(2.3)循环迭代步骤(2.1)和步骤(2.2)求解模糊核h和原始清晰图像f，直到得到的结果收敛或达到预先设定的最大迭代次数14次。步骤3：利用步骤2得到的点扩散函数的估计，通过已有的图像非盲复原方法进行非盲解卷积，得到原始清晰图像的估计。与现有技术相比，本方法具有以下优势：本本文档来自技高网...

【技术保护点】
基于结构自相似性和低秩矩阵表示的图像盲复原方法，其特征在于：该方法目标函数的最优化问题为：

【技术特征摘要】
1.基于结构自相似性和低秩矩阵表示的图像盲复原方法，其特征在于：该方法目标函数的最优化问题为：其中，g为模糊噪声图像，f为原始清晰图像，h代表点扩散函数，为图像的梯度算子，为2-范数的平方运算，min为最小化运算；式(2)中第一项为数据保真项；第二项为低秩矩阵表示的约束项，P为相似图像块组的数据矩阵，Z为相似图像块组的低秩矩阵表示，D为低秩矩阵表示的字典，本方法将相似图像块组的数据矩阵本身作为字典，即D＝P；第三项为多尺度图像结构自相似的约束项，X为清晰图像数据，Xα为X的降采样图像，降采样因子为α＝4/3，QjX为从清晰图像X中抽取的图像块，RiXα为从降采样图像Xα中抽取的图像块，Qj和Ri表示抽取矩阵，即从清晰图像中抽取的第j块和从降采样图像中抽取的第i块，Sj为降采样图像Xα中与清晰图像块QjX最相似图像块的下标集合，为RiXα线性表示QjX的权重，相似图像块之间的均方误差越小，说明图像块RiXα和QjX的相似度越高，t＝1为控制各相似图像块权重相对大小的常数；第四项为梯度约束项，通过约束复原图像的梯度从而抑制噪声；第五项为点扩散函数的正则化约束项；λd＝0.5、λs＝0.15、λf＝0.001和λh＝0.0015为正则化常数；包括以下步骤：步骤1：模糊图像噪声的去除：步骤(1.1)对图像进行部分重叠的图像块划分：对模糊图像M×N为模糊图像的大小，M、N分别表示其行数和列数，以q×q＝11×11为图像块尺寸，s(s＜q)为步长进行部分重叠的图像块划分，从而获得图像块矩阵，并按列表示为：其中，为图像块个数；步骤(1.2)利用欧氏距离作为衡量标准，代表pi中的第m个元素，在图像块矩阵中搜索前K个相似图像块,组成相似图像组步骤(1.3)对相似图像组PK进行低秩矩阵表示，即将数据矩阵PK表示成字典矩阵D与系数矩阵ZK的线性组合，即PK＝DZK,并希望系数矩阵Z...

【专利技术属性】
技术研发人员：王宇桐，禹晶，肖创柏，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11