单图像超分辨率重建方法技术

技术编号:15248092 阅读:140 留言:0更新日期:2017-05-02 08:32
本发明专利技术涉及一种单图像超分辨率重建方法,包括对原始图像进行预处理得到所对应的低分辨率图像;将所述低分辨率图像分为多个组;对各个组进行自适应字典学习,计算各个组的自适应学习字典;在各个组的自适应学习字典的基础上计算各个组的稀疏编码;对各个组的图像块进行恢复重建,对所有的组计算平均值并得到一个完整的高分辨率图像。采用该种方法,利用组作为稀疏表示单元稀疏表示图像,不仅具有良好的稀疏表示性能,而且在字典学习过程中需要解决一个小规模的优化问题,降低了计算复杂度;此外,图像块划分为组采用高斯距离度量考虑了图像块之间的非线性信息关系,更好地利用了图像的非局部自相似信息,重构的HR图像更加地清晰。

Single image super resolution reconstruction method

The invention relates to a single image super-resolution reconstruction method, including preprocess the original image from low resolution image corresponding; the low resolution image is divided into multiple groups; each group of adaptive dictionary learning, the calculation of each group of adaptive learning dictionary based learning; adaptive dictionary in each group the calculation of each group sparse encoding; image blocks for each group of restoration and reconstruction, all of the group average and get a complete high resolution image. Using this method, the group as a unit sparse representation of the sparse representation of the image, not only has a good performance and the need to solve the sparse representation, a small scale optimization problems in the dictionary learning process, reduces the computational complexity; in addition, the image blocks are divided into groups by using Gauss distance metric considering the nonlinear relationship between the image blocks of information the better use of non local image self similarity information, HR image reconstruction more clearly.

【技术实现步骤摘要】

本专利技术涉及图像处理
,尤其涉及单图像超分辨率重建
,具体是指一种单图像超分辨率重建方法
技术介绍
高分辨率(HR)图像在许多实际应用中都需要用到,例如医学图像分析、计算机视觉、遥感等。可以利用传感器制造技术增加单位面积的像素数量或降低像素大小获得HR图像。然而,这些方法受限于成像系统的物理限制。为了克服物理的局限性,已经提出各种单幅图像超分辨率(SISR)的方法,这些方法都是从单幅低分辨率(LR)图像通过某种操作获得其对应的高分辨率图像。单图像超分辨率方法主要可以分为三类:基于插值的方法,基于重建的方法和基于例子的方法。虽然基于插值的方法简单,但是重建的HR图像往往是模糊的,具有锯齿状的伪影和振铃现象。基于重建的方法在重建过程中引入了一些先验知识,但得到的HR图像会出现过度平滑现象或缺乏一些重要的细节信息,在对HR图像进行放大时模糊效果更加明显,就会丢失真实图像的视觉性。基于实例的方法已经成为一个研究热点,该方法的本质是假定LR图像中丢失的高频细节可以通过学习LR图像块和相应的HR图像块之间的关系得到。国内外学者利用马尔可夫(Markov)网络中LR和HR图像块之间的关系来获得HR图像。学者们进一步提出了一种基于邻域嵌入的方法,假设LR图像及其HR图像有类似的局部几何形状。然而,这些方法的效果主要依赖于一个大的图像数据库。最近,为了解决这项缺点,Yang等人(J.Yang,J.Wright,T.HuangandY.Ma.,\Imagesuper-resolutionviasparserepresentation\,IEEETrans.ImageProcess,vol.19,no.11,pp.2861–2873,2010.)提出了基于稀疏表示超分辨率(SCSR)方法,该方法由编码和线性组合两个阶段组成。在这项工作中,首次提出了联合字典训练框架,用来训练HR和LR字典。在此框架下,国外学者Zeyde等人(R.Zeyde,M.EladandM.Protter,\Onsingleimagescale-upusingsparse-representations\,InternationalConferenceonCurves&Surfaces,vol.6920,pp.711-730,2012.)把稀疏域(sparse-land)模型引进到稀疏表示中,使得HR图像更加清晰。Dong等人(W.Dong,L.Zhang,R.LukacandG.Shi,\Sparserepresentationbasedimageinterpolationwithnonlocalautoregressivemodeling\,IEEETrans.ImageProcess,vol.22,no.4,pp.1382–1394,2013.)把非局部自回归模型(NARM)引进稀疏表示中,使得HR图像消除了锯齿等伪影,具有比较清晰的边缘。由于局部秩(LocalRank)能够更好地抽取图像边缘信息,Gong等人(W.Gong,L.Hu,J.LiandW.Li,\Combiningsparserepresentationandlocalrankconstraintforsingleimagesuperresolution\,InformationSciences,vol.325,pp.1-19,2015.)把局部秩约束引进稀疏表示中,提出了一个非局部和全局的优化模型(LRT_SR)进一步改善了HR图像的质量。为了进一步降低计算复杂度,最近局部学习方法得到快速发展,为了解决局部学习模型中的特征空间划分的优化问题和特征空间个数的优化问题,Zhang等人(K.Zhang,B.Wang,W.ZuoandH.Zhang,\JointLearningofMultipleRegressorsforSingleImageSuper-Resolution\,IEEESIGNALPROCESSINGLETTERS,vol.23,no.1,pp.102-106,2016.)引入了混合专家模型(mixtureofexperts,MOE)对特征空间和局部回归进行联合学习。稀疏表示模型是以图像块为稀疏表示单元的,假设图像中的每块图像可以由字典集中的几个元素表示,该字典集中的元素来源于自然图像。与传统的分析设计的字典,例如小波变换,曲波和扁带相比,学习字典提高了稀疏性,重构图像的性能大大提高了,能够更好地适应图像。但是基于图像块的稀疏表示模型中存在两个主要问题。首先,字典学习是一个大规模的和高度非凸的问题,计算复杂度高。其次,稀疏表示以图像块为单位,并且每个图像块在字典学习和稀疏编码过程中通常是独立进行的,忽略了相似图像块之间的关系,例如自相似性。此外,针对字典集,一般使用计算量大的非线性估值法,例如匹配追踪法,计算图像块的稀疏表示系数,由于字典的连贯性原因,得到的稀疏表示系数是不稳定和不精确的。针对基于图像块稀疏表示自然图像模型的以上缺点,文献\J.Zhang,D.Zhao,andW.Gao,Group-basedSparseRepresentationforImageRestoration,IEEETrans.onImageProcessing,vol.23,no.8,pp.3336–3351,2014\把具有相似结构的局部图像块归为一组,以组作为稀疏表示的单位,提出了基于组的稀疏表示(GSR)模型。为了能使相似的图像块归为一组,该文献使用了欧式距离度量图像块之间的相似性。与流形距离相比,欧式距离度量的计算复杂度低,但不能很好地反映出图像块之间的非线性信息关系。
技术实现思路
本专利技术提供了一种单图像超分辨率重建方法,实现了计算复杂度低,不仅融合了组稀疏表示性能还保留非线性非局部自相似性结构,重构出来的HR图像清晰度高,具有更好的峰值信嗓比和更高的结构相似度。为了实现上述目的,本专利技术具有如下构成:该单图像超分辨率重建方法,所述方法包括如下步骤:(1)对原始图像进行预处理得到所对应的低分辨率图像;(2)将所述低分辨率图像分为多个重叠图像块,对于每个图像块选择多个近邻图像块,每个图像块的近邻图像块构成一个组;(3)对各个组进行自适应字典学习,计算各个组的自适应学习字典;(4)在各个组的自适应学习字典的基础上计算各个组的稀疏编码;(5)对各个组的图像块进行恢复重建,对所有的组计算平均值并得到一个完整的高分辨率图像。较佳地,所述对原始图像进行预处理,包括如下步骤:对原始图像进行模糊操作、下采样操作和缩放操作得到原始图像所对应的低分辨率图像。较佳地,所述对于每个图像块选择多个近邻图像块,包括如下步骤:对于每个图像块在训练窗口中根据如下高斯距离度量公式选择h个邻近图像块:其中,yi为第i个图像块,图像块的大小为bs,每个图像块用向量i=1,2,...,n,yj为第j个图像块,表示每个训练窗口中的图像块,是一个集合,该集合中的元素个数为N,对高斯距离dG(yi,yj)由小到大排序,选择前面h个图像块,用向量表示,即为与yi具有相似结构的图像块集合,yi的h个近邻图像块构成了一个组,记为更佳地,根据如下公式构建每个图像块的组:其中,是从图像y中构成组的一个操作本文档来自技高网
...

【技术保护点】
一种单图像超分辨率重建方法,其特征在于,所述方法包括如下步骤:(1)对原始图像进行预处理得到所对应的低分辨率图像;(2)将所述低分辨率图像分为多个重叠图像块,对于每个图像块选择多个近邻图像块,每个图像块的近邻图像块构成一个组;(3)对各个组进行自适应字典学习,计算各个组的自适应学习字典;(4)在各个组的自适应学习字典的基础上计算各个组的稀疏编码;(5)对各个组的图像块进行恢复重建,对所有的组计算平均值并得到一个完整的高分辨率图像。

【技术特征摘要】
1.一种单图像超分辨率重建方法,其特征在于,所述方法包括如下步骤:(1)对原始图像进行预处理得到所对应的低分辨率图像;(2)将所述低分辨率图像分为多个重叠图像块,对于每个图像块选择多个近邻图像块,每个图像块的近邻图像块构成一个组;(3)对各个组进行自适应字典学习,计算各个组的自适应学习字典;(4)在各个组的自适应学习字典的基础上计算各个组的稀疏编码;(5)对各个组的图像块进行恢复重建,对所有的组计算平均值并得到一个完整的高分辨率图像。2.根据权利要求1所述的单图像超分辨率重建方法,其特征在于,所述对原始图像进行预处理,包括如下步骤:对原始图像进行模糊操作、下采样操作和缩放操作得到原始图像所对应的低分辨率图像。3.根据权利要求1所述的单图像超分辨率重建方法,其特征在于,所述对于每个图像块选择多个近邻图像块,包括如下步骤:对于每个图像块在训练窗口中根据如下高斯距离度量公式选择h个邻近图像块:dG(yi,yj)=exp(-||yi-yj||2/2σ2)]]>其中,yi为第i个图像块,图像块的大小为bs,每个图像块用向量yj∈Syblue(j≠i),yj为第j个图像块,Syblue表示每个训练窗口中的图像块,是一个集合,该集合中的元素个数为N,对高斯距离dG(yi,yj)由小到大排序,选择前面h个图像块,用向量表示,即为与yi具有相似结构的图像块集合,yi的h个近邻图像块构成了一个组,记为4.根据权利要求3所述的单图像超分辨率重建方法,其特征在于,根据如下公式构建每个图像块的组:yGi=PGi(y)]]>其中,是从图像y中构成组的一个操作算子。5.根据权利要求1所述的单图像超分辨率重建方法,其特征在于,根据如下公式对各个组进行自适应字典学习,得到各个组的估计值aGi=UGiΣGiVGiT=Σi=1mAaGi⊗i(uGi⊗ivGi⊗iT)]]>其中,分别是的左奇异向量和右奇异值向量,T表示向量的转置,是一个对角矩阵,其主对角线上的元素是元素...

【专利技术属性】
技术研发人员:许淑华高飞祝汉灿齐鸣鸣王会敏
申请(专利权)人:浙江工业大学绍兴文理学院绍兴文理学院元培学院
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1