一种基于块旋转和清晰度的单幅图像超分辨率重建方法技术

本发明专利技术涉及一种基于块旋转和清晰度的单幅图像超分辨率重建方法。为增加训练样本块的多样性，但又不增加计算复杂度，将样本块进行一定角度的旋转，然后引入块清晰度对训练样本进行分类。对于块清晰度较高的纹理、角以及边缘块，利用分类好的对应样本库进行自相似性重建，而清晰度较低的块，则直接使用插值放大进行重建。在搜索匹配过程中使用快速近似最近邻搜索库搜索，提高了重建效率。最终利用迭代反投影算法和局部约束进行优化。本发明专利技术的方法能够大幅度减少计算的复杂度，同时提高了单幅自相似性重建图像的质量和效率，能够获得较好的视觉效果。

【技术实现步骤摘要】

本专利技术涉及一种基于图像块旋转和清晰度的单幅图像超分辨率重建方法，属于图像处理领域。
技术介绍
从一幅或多幅低分辨率图像获取高分辨率图像，即图像超分辨率重建，已经是一个经典的问题。高分辨率图像具有低分辨率图像丢失的细节，即高频信息。由于图像的取景和拍照过程中，会存在不可避免的外在干扰，比如光线不足，拍摄抖动等等，将导致获得的图像分辨率较低。尤其在一些特殊领域，如：医学中人体内部病理图像的获取，以及高空遥感图像的拍摄，这些是难于通过提高硬件设施来较大幅度的提高图像的分辨率。并且，硬件的成本和工艺制造代价可能远远超出了它所能带来的实际价值，因此，通过数字信号处理或软件算法来提高图像的分辨率已经是当前十分活跃的一个研究领域。超分辨率算法主要分为以下两种：经典图像超分辨率重建和基于学习的图像超分辨率重建方法。经典图像超分辨率重建方法旨在从一系列亚像素偏移的低分辨率图像中重建出原有的高分辨率图像。每一幅低分辨率图像将对高分辨率复原图像进行线性约束，当亚像素位移低分辨率图像足够多的时候，则足以重建出高分辨率图像。然而这种方法终究逃脱不了经典多幅图像重建的限制。即使图像序列充分配准，已滤去足够的噪声，一般也只局限于2倍的分辨率放大。而基于学习的超分辨率重建方法打破了基于多帧图像重建的约束，采用分块的思想，并通过一组有代表性的图像集来学习低分辨率与高分辨率图像块之间的映射关系，利用这种映射关系，估计高频细节，最后预测得到待重建的高分辨率图像。Freeman等(参见Freeman W.T.Learning low-level vision[J],Springer International Journal of Computer Vision,2000,40(1):25-47.)首次提出了基于学习的超分辨率算法，并且通过Markov网络学习低分辨率图像块与高分辨率图像块之间的映射关系。此方法大量的依赖于外界训练库，并且额外的训练库不一定能保证包含重建所需要的高频细节，容易导致“幻觉”效应。Chang等人(参见H.Chang.Super-resolution through neighbor embedding,in Proceedings of CVPR,2004,vol.1,pp.275-282.)采用了局部线性嵌入(Local Linear Embedding,LLE)方法，此方法使用相同的近邻系数线性组合恢复高分辨率块，容易导致欠拟合和过拟合现象。Khatri等人(参见N.Khatri.Efficient Self-learning for Single Image Upsampling,in WSCG,2014.)针对图像大尺度放大时训练字典过大这一问题，进行筛选简化，剔除相似性大的冗余图像块，大大的减少了计算的复杂度。Glasner等人(参见D.Glasner.Super-resolution from a single image.Proc.Computer Vision,2009,pp.349-356.)结合了传统的和基于学习的超分辨率算法用于单幅图像超分辨率重建，但是实验表明其结合传统多帧重建方法对最终图像的重建质量贡献并不大，增加了计算的复杂程度，并且其使用的ANN(Approximate Nearest Neighbors)库搜索速度较慢。Singh等人(参见A Singh,N Ahuja.Super-Resolution Using Sub-Band Self-Similarity.Computer Vision-ACCV 2014:552-568.)针对自相似性难于重建纹理较复杂的图像这一缺点，提出了利用可控金字塔模型将低分辨率输入图像进行多频带分解，然后针对每一频带进行自相似性重建，最后再逆变换回高分辨率图像。总之，上述
技术介绍
一定程度上都存在计算复杂度较高并且对外在训练样本依赖性高的缺点，在重建倍数较大情况下，不能较好的保证重建的效率和质量。
技术实现思路
本专利技术的技术解决问题：克服传统基于学习的超分辨率重建算法训练时间过长和对训练库依赖性大的不足，提供一种基于图像块旋转和清晰度的单幅图像超分辨率重建方法，增加训练样本块的多样性，但又不增加计算复杂度，提高了自相似性重建图像的质量和效率。本专利技术的目的是通过以下技术方案来实现：一种基于图像块旋转和清晰度的单幅图像超分辨率重建方法，包括样本库的生成和样本库搜索方法等，其步骤如下：(1)装入低分辨率输入图像I0，设置图像块大小M×M，M为正整数取5、7、9...等；下采样因子a，a>0，超分辨率放大因子K，K取2、3、4...等正整数。(2)将低分辨率输入图像进行多尺度模糊下采样，利用块旋转策略旋转产生对应的中频图像样本训练块库和高频图像样本训练块库，具体步骤如下：(2.1)将低分辨率输入图像I0按采样因子a进行n(n为正整数)层高斯低通滤波和下采样操作，每一层的高斯低通滤波的模糊核由下采样对应的层数、因子a和图像块大小共同决定。得到的高斯金字塔图像序列是由第-n层到第0层，最大尺度层，即低分辨率输入图像I0。(2.2)对高斯金字塔图像序列中的每一层图像先按超分辨率放大因子K进行下采样和平滑滤波，然后再插值放大到原图像大小，得低分辨率金字塔图像序列，即低频训练图像库。(2.3)将高斯金字塔图像序列和低分辨率金字塔图像序列的图像其对应的图像层进行差值得到高分辨率图像的高频信息金字塔图像序列，即高频训练图像库。(2.4)对低频训练图像库图像进一步分解得到中频训练图像库。(2.5)分别对以上两个训练库中的每一张图像进行旋转90度。(2.6)再依次对原图和旋转后的图像进行分块处理。分块原则为：从左往右，从上往下，块大小为M×M，像素偏移数目为N，N取1、2...等正整数并且小于M。最后将每一图像分块后得到的图像块进行汇总，分别得到中频图像样本训练块库和高频图像样本训练块库。同时对由同一图像块产生的中频和高频图像块建立对应映射关系。(3)将待重建的低分辨率输入图像I0插值到预放大尺度，进行分块处理后用带通滤波器提取图像块对应的中频图像块。分块准则为：从上到下，从左到右，大小为M×M(M为正整数)，块像素偏移个数为N。(4)计算步骤(3)中带通滤波后的每一图像块的块清晰度，块清晰度(Sharpness Measure,SM)可由梯度幅值表示。对于任意给定的图像块，SM可定义如下： S M = Σ i = 1 N 1 Σ j N 2 | G ( i , j ) v | + | 本文档来自技高网...

【技术保护点】
一种基于块旋转和清晰度的单幅图像超分辨率重建方法，其特征在于：包括样本库的生成和基于清晰度的图像超分辨率重建方法，步骤如下：(1)载入低分辨率输入图像I0，设置下采样因子为a，超分辨率放大因子为K；(2)将低分辨率输入图像I0进行多尺度模糊下采样，利用块旋转策略旋转产生对应的中频图像样本训练块库和高频图像样本训练块库，其中中频图像样本训练块库由块大小为M×M的中频图像块组成，高频图像样本训练块库由块大小为M×M的高频图像块组成；(3)将低分辨率输入图像I0插值到预放大尺度K倍大小，然后将该图像分块，图像块大小为M×M，图像分块准则为：从上到下，从左到右，像素偏移个数为N，最后对每一图像块用带通滤波器处理得中频图像块；(4)计算步骤(3)中带通滤波处理后所得每一中频图像块的清晰度SM(Sharpness Measure，SM)值，根据图像块清晰度SM值进行超分辨率图像块重建；(5)将步骤(4)重建所得的超分辨率图像块按照像素重复个数进行加权平均融合，得到初始高分辨率图像；(6)使用迭代反投影和局部约束对初始高分辨率图像进行约束和优化，确保重建图像与低分辨率输入图像的一致性并减少重建误差，最终得到放大因子为K倍的高分辨率的图像。...

【技术特征摘要】
1.一种基于块旋转和清晰度的单幅图像超分辨率重建方法，其特征在于：包括样本库的生成和基于清晰度的图像超分辨率重建方法，步骤如下：(1)载入低分辨率输入图像I0，设置下采样因子为a，超分辨率放大因子为K；(2)将低分辨率输入图像I0进行多尺度模糊下采样，利用块旋转策略旋转产生对应的中频图像样本训练块库和高频图像样本训练块库，其中中频图像样本训练块库由块大小为M×M的中频图像块组成，高频图像样本训练块库由块大小为M×M的高频图像块组成；(3)将低分辨率输入图像I0插值到预放大尺度K倍大小，然后将该图像分块，图像块大小为M×M，图像分块准则为：从上到下，从左到右，像素偏移个数为N，最后对每一图像块用带通滤波器处理得中频图像块；(4)计算步骤(3)中带通滤波处理后所得每一中频图像块的清晰度SM(Sharpness Measure，SM)值，根据图像块清晰度SM值进行超分辨率图像块重建；(5)将步骤(4)重建所得的超分辨率图像块按照像素重复个数进行加权平均融合，得到初始高分辨率图像；(6)使用迭代反投影和局部约束对初始高分辨率图像进行约束和优化，确保重建图像与低分辨率输入图像的一致性并减少重建误差，最终得到放大因子为K倍的高分辨率的图像。2.根据权利要求1所述的基于块旋转和清晰度的单幅图像超分辨率重建方法，其特征在于：所述步骤(2)将低分辨率输入图像I0进行多尺度模糊下采样，然后利用块旋转策略旋转产生对应的中频和高频图像样本训练块库，具体步骤如下：(2...

【专利技术属性】
技术研发人员：解凯，尧潞阳，李桐，曾庆涛，叶宇姗，
申请(专利权)人：北京印刷学院，
类型：发明
国别省市：北京;11