本发明专利技术公开了一种基于约束固定邻域嵌入的图像超分辨重建方法，主要解决现有方法忽略高分辨块作用造成重建图像模糊的问题。其实现步骤是：1.构建高分辨、低分辨训练图像集合；2.从训练图像集合中构建低分辨、高分辨联合K近邻组；3.提取测试图像的亮度图像分量和色度图像分量；4.对亮度图像分量进行图像分块，并计算块均值，生成初始估计的高分辨特征块；5.查找所有初始估计高分辨特征块的最近邻联合K近邻组，重建高分辨估计图像块；6.组合所有高分辨估计图像块，得到高分辨亮度图像；7.融合高分辨亮度图像和色度图像分量，得到重建的高分辨图像。本发明专利技术减少了伪像的产生，提高了重构图像的清晰度，可用于高清晰视频显示。
【技术实现步骤摘要】
本专利技术是属于图像处理
，更进一步涉及一种图像超分辨重建方法，可用于公共安全领域、遥感成像领域、医学成像领域、高清数字电视领域。
技术介绍
图像在获取过程中，往往会受到成像设备、拍摄环境、场景运动变化等诸多因素的影响，造成实际获得的图像存在噪声、模糊等退化现象，图像不足以提供丰富的细节信息，为图像处理、分析等带来诸多困难。超分辨重建技术是通过计算机软件的方法，从单幅或者多幅可观察到的低分辨率图像重建出高分辨清晰图像，是提高降质图像分辨率的有效方法之一，在图像处理领域受到广泛关注。现有的图像超分辨重建主要分为以下三类方法：其一，基于插值的方法。这类方法通常利用目标像素的空间邻域和自然图像先验来预测目标像素，从而实现图像的放大，如双线性插值、双立方插值等。这类方法速度快，但生成的图像过平滑，高频细节模糊。其二，基于重构的方法。这类方法利用多帧输入低分辨图像间的互补信息，将图像先验知识作为约束加入到图像超分辨重建过程中，进而恢复出成像过程中丢失的信息。这类方法依赖多帧图像间的配准精度和约束项的构造，当放大倍数较大时重建效果急速下降，不适用于放大倍数较大的超分辨重建。其三，基于实例学习的方法。这类方法大多是基于图像分块进行的，利用对应高分辨图像块与低分辨图像块协同共现先验，学习出输入的低分辨图像块的表示系数，或者学习出训练集中低分辨图像块与高分辨图像块的映射关系，进而来预测低分辨图像中丢失的高频细节信息，实现高分辨图像的重建。基于学习的方法效果较好，也是目前研究较多的方法，主要分成基于概率图模型的方法、基于流形学习的方法、基于稀疏表示的方法以及基于回归的方法。a)基于概率图模型的方法，最早是由Freeman等人在文献“Freeman,William T.,E.C.Pasztor,and O.T.Carmichael.\Learning Low-Level Vision.\International Journal of Computer Vision40.1(2010):25-47.”中提出的，该方法使用马尔科夫随机场建立低分辨图像与高分辨场景之间的关系模型，通过信念传播算法实现高分辨图像的最大化后验估计。该方法依赖于大量样本的学习，计算复杂度较高。b)基于流形学习的方法，是将流形学习的思想引入到超分辨中，假设低分辨块流形与高分辨块流形是局部等距的。如Chang等人的“Chang H,Yeung D Y,Xiong Y.Super-Resolution through Neighbor Embedding[J].IEEE Conference on Computer Vision&Patter Recognition,2010,1:275-282.”。利用对应的低分辨块与高分辨块间的协同出现先验，通过在训练集中寻找输入的低分辨图像块的K个近邻，求得最小化重构误差下的重构权值，并将权值应用到高分辨块的线性组合中，从而实现低分辨图像与高分辨图像之间的关系映射。由于低分辨图像的退化和自然图像结构的复杂性，使得低分辨图像块到高分辨图像块呈现出一对多的对应关系，上述假设不总是成立。这种近邻查找或权值优化过程中忽略高分辨图像块作用的方法，易导致高分辨重建图像中模糊和噪声的出现。c)基于稀疏表示的方法，是将压缩感知理论应用到图像超分辨重建中，如Yang等人提出的“Yang J,Wright J,Huang T S,et al.Image super-resolution via sparse representation.[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2010,19(11):2861-2873.”。该类方法首先通过训练生成一个由低分辨、高分辨图像块对学习出的字典对，然后估计输入的低分辨图像块与训练集中低分辨字典中的原子之间的系数关系，并利用获得的系数关系线性组合对应高分辨字典中的原子，从而重建高分辨图像块。当训练数据集选择不合适时，这类方法重建图像中易存在伪像。d)基于回归的方法，首先在训练集中学习低分辨到高分辨的回归函数，然后利用学习到的回归函数，将输入的低分辨图像映射为高分辨图像。如Timofte等人的“Timofte R,De V,Van Gool L.Anchored Neighborhood Regression for Fast Example-Based Super-Resolution[C]//Computer Vision(ICCV),2013IEEE International Conference on.IEEE,2013:1920-1927.”。基于回归的方法可以减少重建的伪像，但由于现有回归函数的确定需要估计过多的参数，从而导致算法的泛化能力较差，而简单的回归函数又难以对高分辨图像与低分辨图像的复杂映射关系进行建模。
技术实现思路
本专利技术的目的在于克服上述现有方法的不足，提出一种基于约束固定邻域嵌入的图像超分辨重建方法，以提高重建高分辨图像的质量。实现本专利技术目的的技术方案包括如下：(1)从网络中选择N幅高清自然图像进行下载，构建高分辨训练图像集合Th和低分辨训练图像集合Tl；(2)从低分辨训练图像集合Tl和高分辨训练图像集合Th中，随机提取出M个相同大小的低分辨、高分辨图像块对，组成训练图像块对集合其中Pil表示提取的第i个低分辨图像块，Pih表示与Pil对应的第i个高分辨图像块，1≤i≤M；(3)分别提取训练图像块对集合中的低分辨特征块和高分辨特征块得到对应的低分辨、高分辨特征块对再用所有得到的低分辨、高分辨特征块对组成训练特征块对集合其中，表示低分辨图像块Pil的均值，表示提取的第i个低分辨特征块，表示与对应的第i个高分辨特征块；(4)按照欧式距离查找训练特征块对集合中的每一低分辨、高分辨特征块对的联合K近邻对，用这些近邻对组成联合K近邻组集合其中表示第i个联合K近邻组，表示第i组低分辨K近邻特征，表示第i个联合K近邻组Ci中的第u个低分辨特征；表示与对应的第i组高分辨K近邻特征，表示第i个联合K近邻组Ci中的第u个高分辨特征，表示第i个低分辨、高分辨特征块对的第u个近邻对在训练特征块对集合中的索引，且K＞0，1≤u≤K，(5)计算每个联合K近邻组Ci的中心并按照欧式距离，利用类内所有联合K近邻组的低分辨中心为每一类创建一个新的K维-树；其中表示第i个联合K近邻组的低分辨中心，表示与对应的第i个联合K近邻组的高分辨中心；(6)给定任意一张测试的低分辨率图像Y，利用双立方插值方法对输入的低分辨率图像Y进行上采样s倍，得到低分辨率插值图像Yb，将插值图像Yb从RGB空间转换到YCbCr空间，得到其亮度分量图像Yl和蓝色色度分量图像YCb、红色色度分量图像YCr；(7)将亮度分量图像Yl分为大小相同且相互重叠的亮度分量图像块并计算每个图像块的均值其中V表示提取出的图像块个数，1≤r≤V；(8)根据步骤(7)得到的图像块和图像块均值得到高分辨初始估计的特征块：(9)对高分辨初始估计特征块进行优化更新，得到更新后的高分辨本文档来自技高网...
【技术保护点】
基于约束固定邻域嵌入的图像超分辨重建方法，包括：(1)从网络中选择N幅高清自然图像进行下载，构建高分辨训练图像集合Th和低分辨训练图像集合Tl；(2)从低分辨训练图像集合Tl和高分辨训练图像集合Th中，随机提取出M个相同大小的低分辨、高分辨图像块对，组成训练图像块对集合其中Pil表示提取的第i个低分辨图像块，Pih表示与Pil对应的第i个高分辨图像块，1≤i≤M；(3)分别提取训练图像块对集合中的低分辨特征块和高分辨特征块得到对应的低分辨、高分辨特征块对再用所有得到的低分辨、高分辨特征块对组成训练特征块对集合其中，表示低分辨图像块Pil的均值，表示提取的第i个低分辨特征块，表示与对应的第i个高分辨特征块；(4)按照欧式距离查找训练特征块对集合中的每一低分辨、高分辨特征块对的联合K近邻对，用这些近邻对组成联合K近邻组集合其中表示第i个联合K近邻组，表示第i组低分辨K近邻特征，表示第i个联合K近邻组Ci中的第u个低分辨特征；表示与对应的第i组高分辨K近邻特征，表示第i个联合K近邻组Ci中的第u个高分辨特征，表示第i个低分辨、高分辨特征块对的第u个近邻对在训练特征块对集合中的索引，且K＞0，1≤u≤K，(5)计算每个联合K近邻组Ci的中心并按照欧式距离，利用类内所有联合K近邻组的低分辨中心为每一类创建一个新的K维‑树；其中表示第i个联合K近邻组的低分辨中心，表示与对应的第i个联合K近邻组的高分辨中心；(6)给定任意一张测试的低分辨率图像Y，利用双立方插值方法对输入的低分辨率图像Y进行上采样s倍，得到低分辨率插值图像Yb，将插值图像Yb从RGB空间转换到YCbCr空间，得到其亮度分量图像Yl和蓝色色度分量图像YCb、红色色度分量图像YCr；(7)将亮度分量图像Yl分为大小相同且相互重叠的亮度分量图像块并计算每个图像块的均值其中V表示提取出的图像块个数，1≤r≤V；(8)根据步骤(7)得到的图像块和图像块均值得到高分辨初始估计的特征块：(9)对高分辨初始估计特征块进行优化更新，得到更新后的高分辨估计特征块(10)利用更新后高分辨估计特征块和图像块均值得到重建的高分辨亮度分量图像块：(11)对所有重建的高分辨亮度分量图像块进行融合，生成一幅对应于低分辨插值图像亮度分量Yl的清晰高分辨图像亮度分量(12)将高分辨图像亮度分量与蓝色色度分量YCb和红色色度分量YCr进行组合，得到YCbCr空间下的高分辨图像并将高分辨图像由YCbCr空间转换到RGB空间，得到在RGB空间下重建出的高分辨图像X。...
【技术特征摘要】
1.基于约束固定邻域嵌入的图像超分辨重建方法，包括：(1)从网络中选择N幅高清自然图像进行下载，构建高分辨训练图像集合Th和低分辨训练图像集合Tl；(2)从低分辨训练图像集合Tl和高分辨训练图像集合Th中，随机提取出M个相同大小的低分辨、高分辨图像块对，组成训练图像块对集合其中Pil表示提取的第i个低分辨图像块，Pih表示与Pil对应的第i个高分辨图像块，1≤i≤M；(3)分别提取训练图像块对集合中的低分辨特征块和高分辨特征块得到对应的低分辨、高分辨特征块对再用所有得到的低分辨、高分辨特征块对组成训练特征块对集合其中，表示低分辨图像块Pil的均值，表示提取的第i个低分辨特征块，表示与对应的第i个高分辨特征块；(4)按照欧式距离查找训练特征块对集合中的每一低分辨、高分辨特征块对的联合K近邻对，用这些近邻对组成联合K近邻组集合其中表示第i个联合K近邻组，表示第i组低分辨K近邻特征，表示第i个联合K近邻组Ci中的第u个低分辨特征；表示与对应的第i组高分辨K近邻特征，表示第i个联合K近邻组Ci中的第u个高分辨特征，表示第i个低分辨、高分辨特征块对的第u个近邻对在训练特征块对集合中的索引，且K＞0，1≤u≤K，(5)计算每个联合K近邻组Ci的中心并按照欧式距离，利用类内所有联合K近邻组的低分辨中心为每一类创建一个新的K维-树；其中表示第i个联合K近邻组的低分辨中心，表示与对应的第i个联合K近邻组的高分辨中心；(6)给定任意一张测试的低分辨率图像Y，利用双立方插值方法对输入的低分辨率图像Y进行上采样s倍，得到低分辨率插值图像Yb，将插值图像Yb从RGB空间转换到YCbCr空间，得到其亮度分量图像Yl和蓝色色度分量图像YCb、红色色度分量图像YCr；(7)将亮度分量图像Yl分为大小相同且相互重叠的亮度分量图像块并计算每个图像块的均值其中V表示提取出的图像块个数，1≤r≤V；(8)根据步骤(7)得到的图像块和图像块均值得到高分辨初始估计的特征块：(9)对高分辨初始估计特征块进行优化更新，得到更新后的高分辨估计特征块(10)利用更新后高分辨估计特征块和图像块均值得到重建的高分辨亮度分量图像块：(11)对所有重建的高分辨亮度分量图像块进行融合，生成一幅对应于低分辨插值图像亮度分量Yl的清晰高分辨图像亮度分量(12)将高分辨图像亮度分量与蓝色色度分量YCb和红色色度分量YCr进行组合，得到YCbCr空间下的高分辨图像并将高分辨图像由YCbCr空间转换到RGB空间，得到在RGB空间下重建出的高分辨图像X。2.根据权利要求1中基于约束固定邻域嵌入的图像超分辨重建方法，其中步骤(1)中构建高分辨训练图像集合Th和低分辨训练图像集合Tl，按如下步骤进行：(1a)从网络中下载的N幅高清自然图像作为高分辨率图像，并将这N幅高分辨率图像从红、绿、蓝RGB空间转换到亮度、蓝色色度、红色色度YCbCr空间，...
【专利技术属性】
技术研发人员：高新波，孙雷雨，王楠楠，李洁，曹兵，马卓奇，査文锦，于昕晔，朱明瑞，张宇航，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。