自范例学习引导的单张影像超分辨率重构方法技术

发明专利技术提供的自范例学习引导的单张影像超分辨率重构方法，通过引入影像块的几何变换，扩大了内部类似影像块检索空间，使目标影像块在影像金字塔中能检索到更多类似度更高的影像块，使本发明专利技术算法得到的重构影像中高频细节信息更加充足，对影像内部纹理的重构效果更好；通过采用消逝点检测方法获取影像内部平面信息，在检索类似影像块的过程中利用影像的局部关联性约束检索区域，大幅减少了最近邻搜寻检索的计算量，提高了算法效率。本发明专利技术方法重构得到的影像质量相对现有技术的方法有大幅提高，对于图像内部纹理与边缘具有较高的恢复质量，重建图像的客观评价指标也有明显提高。

【技术实现步骤摘要】
自范例学习引导的单张影像超分辨率重构方法
本专利技术涉及一种单张影像超分辨率重构方法，特别涉及自范例学习引导的单张影像超分辨率重构方法，属于影像超分辨率重构

技术介绍
影像的分辨率是对一张影像所包含信息量大小一种度量，描述单位空间内像素点的个数。为了能对影像进行更加有效的处理，使影像得到更广泛和高效的运用，实际利用中通常希望待处理影像的质量尽可能的高。高质量影像从观测和使用者的主观感受上讲，内部相比于低质量影像具有更丰富的细节信息并且更便于分辨影像边缘，通过提高影像分辨率使单位面积的像素点增加，对影像内部细节的描述更丰富，达到充分提高影像质量的目地。在影像实际成像过程中，由于一方面受到环境因素产生的模糊和运动模糊导致影像的降质，另一方面在影像传输存储过程中，受到带宽限制、文件压缩等都会造成影像信息传播末端获取信息的损失，最终获取的影像与观测目标存在较大的退化，本专利技术将这类影像定义为低分辨率影像，低分辨率影像对影像后期的处理产生一系列不利影响。现有技术提高影像分辨率的方式主要有二种，一种是通过提高成像设备硬件性能，获本文档来自技高网...

【技术保护点】
1.自范例学习引导的单张影像超分辨率重构方法，其特征在于，将影像块的几何不变性引入到类似影像块匹配中，实现基于范例几何不变性的单张影像超分辨率影像重构算法，在类似影像块匹配过程中，将影像块的几何形变作为损失函数扩大内部影像块的搜寻空间；/n自范例学习引导的单张影像超分辨率重构模型分为三个部分，分别为：最近邻域构成定义、最近邻搜寻检索、合成高分辨率影像块；将自范例学习引导的单张影像超分辨率重构模型用于超分辨率影像重构，整体方法流程分为三个步骤：分别为：影像检测与金字塔构建、类似影像块匹配、多级放大影像重构；/n自范例学习引导的单张影像超分辨率重构方法整体方法流程步骤为：/n第一步，影像检测与金字...

【技术特征摘要】
1.自范例学习引导的单张影像超分辨率重构方法，其特征在于，将影像块的几何不变性引入到类似影像块匹配中，实现基于范例几何不变性的单张影像超分辨率影像重构算法，在类似影像块匹配过程中，将影像块的几何形变作为损失函数扩大内部影像块的搜寻空间；
自范例学习引导的单张影像超分辨率重构模型分为三个部分，分别为：最近邻域构成定义、最近邻搜寻检索、合成高分辨率影像块；将自范例学习引导的单张影像超分辨率重构模型用于超分辨率影像重构，整体方法流程分为三个步骤：分别为：影像检测与金字塔构建、类似影像块匹配、多级放大影像重构；
自范例学习引导的单张影像超分辨率重构方法整体方法流程步骤为：
第一步，影像检测与金字塔构建，
影像检测与金字塔构建阶段基于消逝点检测获取影像内部平面信息，建立影像金字塔，包括三部分：影像平面检测、透射变换矩阵获取利用、影像金字塔构造，
1、影像平面检测：对输入低分辨率影像进行消逝点检测，获取影像的消逝点与对应消逝线集合，然后将消逝线密度分布图两两配对获取平面信息；
2、透射变换矩阵BC获取利用，利用消逝线获取对应平面的透射变换矩阵BC进行几何校正，使得在三维空间中平行的线在影像中依然平行；
3、影像金字塔构造：首先由输入低分辨率影像通过连续下采样构造自身的全频影像金字塔，然后由全频影像金字塔的每层影像进行双三次插值构造出低频影像金字塔，构造高-低分辨率的影像对，通过目标尺度的低频影像重构出与之对应的全频影像；
第二步，类似影像块匹配，
1、影像分块：对低频影像金字塔中目标尺度缺少高频信息的低分辨率影像进行分块处理，以i*i的大小分块，并且使相邻的影像块之间有重叠，得到大量的低分辨率影像块；
2、类似影像块匹配：在低频影像金字塔中采用影像块几何变换模型，对目标影像块进行类似影像块匹配；
第三步，多级放大影像重构，
1、将低分辨率影像金字塔内学习的映射关系应用在高分辨率影像金字塔内，获取目标尺度的高分辨影像；在低分辨率影像金字塔内可以获取目标块与类似块之间的变换关系T,将T的逆矩阵应用在相同位置的高分辨率影像块上就可以得到高分辨影像块；
2、采用多级放大的超分辨率影像重构方法，将获取的高分辨影像通过迭代反投影方法对其重构得到的高分辨率影像进行误差修正；
将误差修正后获取的Bi+1做为输入影像对其重复迭代，直至Bi+C到达目标分辨率，输出超分辨率影像重构结果；
经过以上三部流程将输入低分辨率影像，在不依靠外部训练数据集的条件下，重构成高分辨率影像。


2.根据权利要求1所述的自范例学习引导的单张影像超分辨率重构方法，其特征在于，本发明平面信息提取采用消逝点检测方法，首先通过影像边缘检测和消逝点聚类提取二维影像内部的平面信息，具体步骤为：
步骤一，对待检测影像进行边缘检测，将线段填充到影像的已知区域；
步骤二，采用步骤一检测到的消逝线，采用随机抽样一致性算法获取至多3个消逝点；
步骤三，利用聚类获取的至多3个消逝点，两两配对得到3个平面；
利用消逝线表示平面C的参数，通过一个透射变换矩阵BC进行几何校正现实平面的透射影像，使在三维空间中互相平行的线段，在成像影像中依然保持平行；
影像内的一个平面由两组三维空间中的平行线确定，在同一个影像平面区域内会存在两组属于不同消逝点的消逝线，消逝点检测平面的方法通过对两组属于不同消逝点的消逝线的重叠区域定位，确定对应平面区域，检测流程为：
步骤1，对于影像内每组消逝点的消逝线进行高斯核扩散，获取对应消逝点在影像内的密度分布图；
步骤2，将消逝点对应消逝线密度分布图两两相乘获取对应平面的平面密度图，其输出图片能很好的反映出两组线段重叠部分。


3.根据权利要求2所述的自范例学习引导的单张影像超分辨率重构方法，其特征在于，平面引导包括三个部分，分别是同平面损失函数、线段方向损失函数和近邻搜寻损失函数；
同平面损失函数：同一平面影像块具有局部近似特征，增加一个平面兼容性的损失函数，目标影像块与搜寻空间关联度更高；
线段方向损失函数：结合人造场景纹理特征倾向于在垂直和水平的方向复现的特点，加入关于方向的损失函数；
近邻搜寻损失函数：将搜寻空间约束在局部区域提高影像重构质量。


4.根据权利要求1所述的自范例学习引导的单张影像超分辨率重构方法，其特征在于，最近邻域构成定义中，利用影像内部平面检测定位获取的影像内部平面消逝线推导出对应平面的透射变换矩阵对最近邻域搜寻空间中的影像块进行几何变换，扩大搜寻空间；
假设每个待重构低分辨率影像I内部的目标影像块表示为M(ti)，其中ti为目标影像块的中心坐标目标影像块与最佳类似影像块之间的几何变换定义为Ti，简单形式如下：
M(ti)≈Ti*M(Si)
其中，M(Si)表示最近邻搜寻检索算法匹配到的最佳类似影像块，表示其中心坐标；
影像块的几何变换由影像几何变换模型统一为透射变换和仿射变换，本发...

【专利技术属性】
技术研发人员：刘秀萍，王程，
申请(专利权)人：荆门汇易佳信息科技有限公司，
类型：发明
国别省市：湖北;42