基于多层次邻域嵌入的图像超分辨率重建方法及系统技术方案

本发明专利技术提供了一种基于多层次邻域嵌入的图像超分辨率重建方法和一种基于多层次邻域嵌入的图像超分辨率重建系统，其中，所述方法包括：对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；对多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。通过本发明专利技术的技术方案，可以有效地解决因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。

【技术实现步骤摘要】
基于多层次邻域嵌入的图像超分辨率重建方法及系统
本专利技术涉及计算机图像处理
，具体而言，涉及一种基于多层次邻域嵌入的图像超分辨率重建方法和一种基于多层次邻域嵌入的图像超分辨率重建系统。
技术介绍
图像超分辨率重建是为了克服成像过程设备或技术的限制，从单帧低分辨率图像或低分辨率图像序列中重建一个高分辨率图像。目前，图像超分辨率重建算法可以分为三类：基于插值的算法，基于重建的算法和基于学习的算法。具体地：(1)基于插值的算法是采用线性或非线性的算法，利用已知像素点估计出未知的像素值，例如NEDI(插值算法的简称，NewEdge-DirectedInterpolation)，SAI(插值算法的简称，Soft-decisionAdaptiveInterpolation)。(2)基于重建的算法是采用最大后验可能性模型使用各种正则项作为约束来描述自然图像的特征。(3)基于学习的算法是依赖于外部的数据集建立低分辨率图像块和高分辨率图像块之间的关系，本领域的研究人员提出了不同的模型来描述这种关系，包括利用马尔科夫随机场模型来描述，每一个低分辨率图像块对应几个高分辨率候选图像块，这一特点符合马尔科夫随机场模型的结构构造且可以通过图割或者置信传播的方法解决，然而这种算法计算复杂度很高。另外，Yang等人(JianchaoYang等人，2010TIPImagesuper-resolutionviasparserepresentation的作者)提出基于稀疏表示的图像超分辨率算法，通过分别训练高低分辨率图像的字典，将输入的低分辨率图像用低分辨率字典稀疏表示，然后将该稀疏系数与对应的高分辨率字典相乘即可得高分辨率的图像。以及，基于高低分辨率图像块共享相似线性几何流形的假设，Chang等人(HongChang等人，2004CVPRSuper-resolutionthroughneighborembedding的作者)提出了邻域嵌入算法。但是，现有的图像超分辨率算法均直接重建图像的空间差异部分，也就是图像的高频成分，然而，图像的结构特征可能体现在不同方向的频率域中，特别是在图像纹理比较丰富的情况下，直接重建图像的所有高频成分会导致图像的纹理细节直接被平滑。因此，如何解决上述问题，提高图像超分辨率重建的精确度成为亟待解决的技术问题。
技术实现思路
本专利技术正是基于上述技术问题，提出了一种新的技术方案，可以有效地解决因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。有鉴于此，本专利技术的第一方面，提出了一种基于多层次邻域嵌入的图像超分辨率重建方法，包括：对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；对多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。在该技术方案中，通过对将待处理图像(比如，单帧低分辨率图像或低分辨率图像序列)经可控金字塔分解操作得到的高通图像、低通剩余图像和多个方向上的带通子带图像均使用邻域嵌入算法进行重建，进而经可控金字塔分解操作的逆变换生成高分辨率图像，如此，有效地解决了现有的图像超分辨率重建方法中因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。在上述技术方案中，优选地，所述对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像，具体包括：根据预设分解公式计算所述待处理图像对一组多方向的可控带通滤波器的响应，以得到所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像，所述预设分解公式为：其中，Xt表示所述待处理图像，表示所述多个方向上的带通子带，Xt0表示所述高通图像，XtN+1表示所述低通剩余图像，F(·)和F-1(·)分别代表傅里叶变换和傅里叶逆变换，f(θi)代表方向为θi的可控带通滤波器，gi表示根据可控带通滤波器计算出的高通滤波器或低通滤波器。在该技术方案中，具体地通过一组多方向的可控带通滤波器对待处理图像进行滤波得到高通图像、低通剩余图像和多个方向上的带通子带图像，以确保得到多个图像层次，进而对每个图像层次的图像均进行相应的邻域嵌入处理。在上述任一技术方案中，优选地，根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像，具体包括：将所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别分解为对应的图像块；对于每个所述图像块利用K-NN算法在对应图像层次的字典数据库中查找K个近邻的邻域图像块，以得到K个重建系数；根据所述K个重建系数和所述K个近邻的领域图像块得到所述对应的高分辨率子带图像。在该技术方案中，当根据邻域嵌入算法对分解得到的每个图像层次的图像进行重建处理时，首先需要将相应的图像分解为多个图像块，并针对每个图像块利用K-NN算法(K-NearestNeighbor，一种寻找最近邻的算法)获取其最近邻的K个邻域图像块(即相似度高的图像块)，进而估计出相应的K个重建系数，然后经将每个邻域图像块与对应的重建系数相乘、将相乘结果合并，从而得到分辨率显著提高的高分辨率子带图像，其中，对应图像层次的字典数据库是指将待处理图像分解后形成的所有的高频图像集合、低频图像集合以及各个方向对应的图像集合。在上述任一技术方案中，优选地，对于所述多个方向上的带通子带图像和所述高通图像，根据全局特征信息和局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块；对于所述低通剩余图像，根据联合局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块。在该技术方案中，每个图像块的重建质量很大程度上取决于查找到的最近邻的邻域图像块的精确性，则用于选择相似块的标准显得至关重要，那么为了确保不同图像层次的图像块的重建效果，对于高通图像和多个方向上的带通子带图像，引入待处理图像的图像块特征信息作为全局特征信息，将高通图像和多个方向上的带通子带图像的图像块表现出的特征信息作为局部特征信息；而对于低通剩余图像，由于其低频性更加平滑，导致其梯度特征不能有效地被提取，但其是连续的且已包含了足够的图像结构信息，因此引入联合局部特征信息作为其相似性的度量。另外，特征信息指图像的纹理特征信息等，以确保图像超分辨率重建的精确度。在上述任一技术方案中，优选地，还包括：利用非局部均值算法对所述高分辨率图像进行优化处理。在该技术方案中，为了得到更好的重建效果，使用非局部均值算法将经可控金字塔分解操作的逆变换处理得到高分辨率图像进行优化处理，以减小高分辨率图像的各个相似图像块之间的重建误差。本专利技术的第二方面，提出了一种基于多层次邻域嵌入的图像超分辨率重建系统，包括：分解模块，用于对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；重建模块，用于根据邻域嵌入算法对所述分解模块分解得到的所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图本文档来自技高网...

【技术保护点】
一种基于多层次邻域嵌入的图像超分辨率重建方法，其特征在于，包括：对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；对多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。

【技术特征摘要】
1.一种基于多层次邻域嵌入的图像超分辨率重建方法，其特征在于，包括：对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；对多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。2.根据权利要求1所述的基于多层次邻域嵌入的图像超分辨率重建方法，其特征在于，所述对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像，具体包括：根据预设分解公式计算所述待处理图像对一组多方向的可控带通滤波器的响应，以得到所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像，所述预设分解公式为：其中，Xt表示所述待处理图像，表示所述多个方向上的带通子带，Xt0表示所述高通图像，XtN+1表示所述低通剩余图像，F(.)和F-1(.)分别代表傅里叶变换和傅里叶逆变换，f(θi)代表方向为θi的可控带通滤波器，gi表示根据可控带通滤波器计算出的高通滤波器或低通滤波器。3.根据权利要求2所述的基于多层次邻域嵌入的图像超分辨率重建方法，其特征在于，根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像，具体包括：将所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别分解为对应的图像块；对于每个所述图像块利用K-NN算法在对应图像层次的字典数据库中查找K个近邻的邻域图像块，以得到K个重建系数；根据所述K个重建系数和所述K个近邻的领域图像块得到所述对应的高分辨率子带图像。4.根据权利要求3所述的基于多层次邻域嵌入的图像超分辨率重建方法，其特征在于，对于所述多个方向上的带通子带图像和所述高通图像，根据全局特征信息和局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块；对于所述低通剩余图像，根据联合局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块。5.根据权利要求1至4中任一项所述的基于多层次邻域嵌入的图像超分辨率重建方法，其特征在于，还包括：利用非局部均值算法对所述高分辨率图像进行优化处理。6.一种基于多层次邻域嵌...

【专利技术属性】
技术研发人员：宋思捷，厉扬豪，刘家瑛，郭宗明，
申请(专利权)人：北京大学，北大方正集团有限公司，北京北大方正电子有限公司，
类型：发明
国别省市：北京,11