一种基于局部秩先验的单幅图像超分辨率重建方法技术

本发明专利技术是一种基于局部秩先验的单幅图像超分辨率重建方法。其核心是通过学习方法得到高分辨率图像的局部秩先验信息，利用这种先验信息，通过能量最小函数，约束待重建高分辨率图像的局部秩。然后将这种能量最小函数转化为局部秩约束的重建模型。考虑到图像的非局部特性，提出一种全局与非局部结合的优化模型。为了得到更好的非局部权值，还提出一种基于局部秩的优化的权值计算方法。本发明专利技术所提出的重建模型不仅能够很好的重建具有较多细节的高分辨率图像，而且能够减少重建图像的瑕疵以及锐化图像的边缘。

【技术实现步骤摘要】
一种基于局部秩先验的单幅图像超分辨率重建方法
本专利技术属于计算机图像处理
，涉及一种单幅图像的超分辨率重建方法。
技术介绍
在获取视觉图像过程中，有许多因素造成了图像的质量下降。其中影响因素包括:系统的像差、散焦、空气的扰动和噪声的存在。所以在很多数字图像应用中，人们期望得到具有高分辨率的图像。图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。在计算机视觉、卫星遥感、天文学、生物医学成像、民用安防等多个领域都有广泛的应用。提高图像分辨率有两种方式：改善硬件条件和进行图像处理。如果从改善硬件设施方面着手，我们可以做两方面工作：一、改进成像器件的物理特性。但该做法的缺陷在于：增大芯片面积会导致电荷转移速率下降，缩小像元尺寸将会使得单位像元受光量减少、从而加大成像单元受散粒噪声的影响，进而导致成像图像的质量急剧下降。二、增大光学镜头的孔径和焦距，但是在日常的使用中，无论是处于成本价格，或是装置的简易性来考虑，都几乎不会考虑这种方式来改善图像分辨率。相比之下通过数字图像处理技术来提高图像分辨率的超分辨率技术就显得更加经济实用。目前国内外学者针对单幅图像超分辨率重建这一逆问题，提出了许多重建算法，主要可分为三个范畴：基于插值的方法、基于重建的方法和基于学习的方法。基于插值和重建的方法会在图像重建过程中产生振铃、块效应以及图像过度平滑现象，并且在放大倍数较大情况下重构出的图像质量下降较严重。Freeman等提出了在马尔科夫网络下的基于例子学习的方法。而后，Chang等提出了基于邻域嵌入的方法。Yang等对此进行扩展，提出了基于稀疏表示的单幅图像超分辨率重建算法。这种方法首先对训练图像库做块的采样处理，然后用采样得到的图像块训练相应的高分辨率和低分辨率字典，最后用所得到的高低分辨率字典重建高分辨率图像。一些改进的基于稀疏表示的方法也在此之后相继提出。但是，基于稀疏表示方法的效果对用于字典训练的图像库的要求很高。如果选取的训练图像库不好，则重建的高分辨率图像就会存在瑕疵，而且边缘和细节也不锐化和突出。所以，为了提高基于稀疏表示的单幅图像超分辨率重建算法的性能，需要引入一些新的图像先验知识。
技术实现思路
本专利技术的目的是提出一种基于局部秩先验的单幅图像超分辨率重建方法，在图像超分辨率重建过程中，引入局部秩先验，能够有效解决基于稀疏表示的单幅图像超分辨率重建技术存在的缺陷，恢复更多的图像细节信息，减少重建瑕疵以及锐化边缘。本专利技术是在基于稀疏表示的单幅图像超分辨率重建方法的基础上，提出一种局部秩先验，通过将这种局部秩先验约束引入到图像重建过程中，有效重建较好质量的高分辨率图像。实现步骤如下：(1)图像的局部秩变换(LRT)的定义为：对于图像中某个像素，在它的邻域中比它的像素值小的图像像素的个数。根据此原理，利用局部秩变换，将所得到的高低图像训练图像块分为两类：和然后分别求取每个类的类中心，并对每一类分别训练，得到相应的字典；(2)利用训练得到的字典，求得高分辨率图像的局部秩先验；(3)提出能量最小化函数，约束高分辨率图像的局部秩；若待重建的低分辨率图像块属于类则提出的能量最小函数为：若待重建的低分辨率图像块属于类则提出的能量最小函数为：(4)将(3)中能量最小化函数转化为约束优化问题，求得初始高分辨率图像；(5)对(4)中求得的初始高分辨率图像做全局和改进权值的非局部约束，得到最终的高分辨率图像。在计算图像的非局部权值时，为了使得离目标块不远也不近的块有较好的权值，提出一种优化的基于局部秩的权值计算方法。本专利技术通过学习高分辨率图像的局部秩先验知识，建立一种局部秩能量最小函数，并将这种能量最小函数和基于稀疏表示的重建方法相结合，提出一种局部秩约束的重建模型。考虑到图像非局部特征，为了得到更好的非局部权值，提出一种优化的权值计算方法。本专利技术所提出的重建模型不仅能够很好的重建高分辨率图像，而且能够减少重建图像的瑕疵以及锐化图像的边缘。附图说明图1：本专利技术方法的实现框图；图2：本专利技术方法所用到的部分训练图像(来自于BSDS300高分辨图像库)；图3：本专利技术方法所用到的测试图像:(a)是高分辨率测试图像“window”；(b)是高分辨率测试图像“leaves”；图4：本专利技术方法针对局部秩先验相对其他方法对测试图像window所改善的效果图：(a)是低分辨率图像；(b)是传统稀疏表示重建的图像(PSNR＝28.08,SSIM＝0.8000)；(c)只引入正局部秩变换的先验重建图像(PSNR＝28.19,SSIM＝0.8065)；(d)只引入负局部秩变换的先验重建图像(PSNR＝28.17,SSIM＝0.8037)；(e)同时引入正局部秩变换的先验和负局部秩变换的先验重建图像(PSNR＝28.27,SSIM＝0.8095)；(f)高分辨率图像。图5：本专利技术方法和其他各种方法对测试图像leaves的重建结果。具体实施方式以下结合附图和实施例对本专利技术做进一步详细说明：图1为本专利技术方法的实现框图，该方法主要由以下步骤构成：步骤1：对训练库高分辨率图像做模糊降采样，生成对应的低分辨率图像，同时对高分辨率图像做局部秩变换，然后，对所有训练库图像做分块处理。首先，从通用的BSDS300高分辨图像库(全名：TheBerkeleySegmentationDataSet300。来自于：BerkeleyUniversityofCalifornia。用途：被用于图像分割，识别，分类，以及图像重建的训练库和测试库。链接：http://www.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/)中随机选取70幅高分辨率图像作为训练图像。利用退化模型(1)生成对应的低分辨率图像：Y＝UBX(1)式中，X表示高分辨率图像，Y表示对应的低分辨率图像，U表示下采样算子,B表示模糊算子。其次，对高分辨率训练图像做局部秩变换，生成对应的正局部秩变换图像LRTδ(X)和负局部秩变换图像LRT-δ(X)。最后，分别对低分辨率图像Y，高分辨率图像X，正局部秩变换图像LRTδ(X)和负局部秩变换图像LRT-δ(X)进行7×7的分块处理，得到相应的图像块：和步骤2：对步骤1得到的图像块进行分类对步骤1中的训练图像块：和按照是否为零，将对应的块和分类。若不为零，则将相应的块分到类若为零，则将相应的块分到类其中n1+n2＝n。步骤3：对步骤2中分好类的图像块进行联合字典训练对于类，我们用公式(2)求得相应的字典：式中，是Pδ类的高分辨率字典，Dδ是Pδ类的正LRTδ字典,是Pδ类的负LRT-δ字典,Dl是Pδ类的低分辨率字典,是稀疏表示系数，τ1控制稀疏度，F是指F范数，n1是Pδ类的样本数量。对于类，用公式(3)求得相应的字典：式中，Dh是P-δ类的高分辨率字典，D-δP-δ是类的负LRT-δ字典,是P-δ类的低分辨率字典,是稀疏表示系数，τ2控制稀疏度，n2是P-δ类的样本数量。步骤4：重建低分辨率图像，得到初始的高分辨率图像对于低分辨率图像Y，首先取7×7的块，然后计算此块与类Pδ和类P-δ的距离，若此图像块属于类P-δ，则根据公式(4)得到高分辨率图像的负局部秩为：式中，R-δ是重建的高分辨率本文档来自技高网...

【技术保护点】
一种基于局部秩先验的单幅图像超分辨率重建方法，该方法包括以下步骤：(1)根据局部秩变换的原理，利用局部秩变换，将所得到的高低图像训练图像块分为两类：Pδ={Xhi,Yli,Xδi,X-δi}i=1n1]]>和P-δ={Xhi,Yli,X-δi}i=1n2,]]>然后分别求取每个类的类中心，并利用稀疏编码对每一类分别训练，得到相应的字典；其中为低分辨率图像块，高分辨率图像块，正局部秩变换图像块，为负局部秩变换图像块；(2)利用训练得到的字典，求得高分辨率图像的局部秩先验；(3)提出能量最小化函数，约束高分辨率图像的局部秩；若待重建的低分辨率图像块属于类P-δ={Xhi,Tli,X-δi}i=1n2,]]>则提出的能量最小函数为：minX~hiE1(LRT-δ(X~hi)-R-δ),]]>若待重建的低分辨率图像块属于类则提出的能量最小函数为：其中，R‑δ是重建的高分辨率图像的负局部秩，是重建的高分辨率图像块；(4)将步骤(3)中能量最小化函数转化为约束优化问题，求得初始高分辨率图像；(5)对步骤(4)中求得的高分辨率图像做全局和改进权值的非局部约束，得到最终的高分辨率图像；其中在计算图像的非局部权值时，采用优化的基于局部秩的权值计算方法。...

【技术特征摘要】
1.一种基于局部秩先验的单幅图像超分辨率重建方法，该方法包括以下步骤：步骤1，根据局部秩变换的原理，利用局部秩变换，将所得到的高分辨率训练图像块和低分辨率训练图像块分为两类：和然后分别求取每个类的类中心，并利用稀疏编码对每一类分别训练，得到相应的字典；其中为低分辨率训练图像块，为高分辨率训练图像块，为正局部秩变换图像块，为负局部秩变换图像块,n1,n2分别为Pδ和P-δ类的训练样本数量；步骤2，利用训练得到的字典，求得高分辨率图像的局部秩先验；步骤3，提出能量最小化函数，约束高分辨率图像的局部秩；若待重建的低分辨率图像块属于类则提出的能量最小函数为：若待重建的低分辨率图像块属于类则提出的能量最小函数为：其中，R-δ是重建的高分辨率图像的负局部秩，是重建的高分辨率图像块，表示对图像块进行正局部秩变换，表示对图像块进行负局部秩变换，E1(),E2(),E3()为能量函数；步骤4，将步骤3中能量最小化函数转化为约束优化问题，求得初始高分辨率图像；步骤5，对步骤4中求得的初始高分辨率图像做全局和改进权值的非局部约束，得到最终的高分辨率图像；其中在计算图像的非局部权值时，采用优化的基于局部秩的权值计算方法；在步骤1中，利用局部秩变换，将所得到的高分辨率训练图像块和低分辨率训练图像块分为两类：和此过程如下：首先，从通用的BSDS300高分辨图像库中随机选取70幅高分辨率图像作为训练图像，利用退化模型(1)生成对应的低分辨率图像：Y＝UBX(1)式中，X表示高分辨率图像，Y表示对应的低分辨率图像，U表示下采样算子,B表示模糊算子；其次，对训练图像做局部秩变换，生成对应的正局部秩变换图像LRTδ(X)和负局部秩变换图像LRT-δ(X)；最后，分别对低分辨率图像Y，高分辨率图像X，正局部...

【专利技术属性】
技术研发人员：龚卫国，胡伦庭，李伟红，李进明，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;85