一种图像的超分辨率重建方法技术

本发明专利技术公开了一种图像的超分辨率重建方法，包括以下步骤：A1，计算待处理的低分辨率图像对应的高分辨率图像，将得到的初始的高分辨图像分块，计算各图像块的中心像素点的位置向量p所对应的结构张量S

Super resolution reconstruction method for image

The invention discloses an image super-resolution reconstruction method, which comprises the following steps: A1, high resolution image of low resolution image and the corresponding calculation to be processed, will be the initial high resolution image block, calculate the position vector p center pixels of each image block on the structure tensor of S

【技术实现步骤摘要】
一种图像的超分辨率重建方法
本专利技术涉及计算机视觉技术和图像处理领域，特别涉及一种图像的超分辨率重建方法。
技术介绍
图像超分辨率技术不需要改变现有物理设备，只要采用适当的数字信号处理技术就能获得满足需要的高分辨率图像，在技术上和成本上具有较大优势，因此被越来越多地应用于高清数字电视、军事遥感监测、公共安全和医学成像等领域。相对于多帧重建技术，单帧图像超分辨率技术在重建时仅需要一幅实际场景中的低分辨率图像就能估计出相同场景下的高分辨率图像，在一些应用中更能满足实际应用需求。同时，深度图像在计算机视觉应用中发挥着重要的作用，但是其低分辨率限制了其发展。传统的超分辨方法大多采用字典学习的方法，在训练阶段首先利用高分辨率训练库和图像退化模型获得一个高低分辨率的图像训练集，然后通过一定的学习算法获得高分辨率图像之间的映射关系，最后利用优化算法对待重建的低分辨率图像进行优化，估计出相应的高分辨率图像。字典训练的方法，涉及大量图像集的处理，计算复杂，训练阶段需消耗大量的时间，处理效率低。
技术实现思路
本专利技术所要解决的技术问题是：弥补上述现有技术的不足，提出一种图像的超分辨率重建方法，可降低计算的复杂度，节省处理时间。本专利技术的技术问题通过以下的技术方案予以解决：一种图像的超分辨率重建方法，包括以下步骤：A1，计算待处理的低分辨率图像对应的高分辨率图像，作为初始的高分辨率图像，将得到的初始的高分辨图像分块，计算各图像块的中心像素点的位置向量p所对应的结构张量Sw(p)；A2，计算各图像块的结构张量Sw(p)的特征值，并根据计算得到的特征值判断图像块是否为平滑图像块；A3，在图像块为平滑图像块时，将步骤A1得到的初始的高分辨率图像块作为该图像块的最终高分辨率图像块；A4，在图像块为非平滑图像块时，根据该图像块生成图论其中，图论V表示多个彼此连接的顶点，各顶点为该图像块中的各像素点；ε和W分别表示自定义的一组边缘集合和一个权重邻接矩阵，其中，Wi,j表示边缘集合ε中的边缘e的权重；设定对角矩阵D，其中，第i个对角元素di表示图论中顶点i的所有边缘事件的权重的总和；生成拉普拉斯矩阵L＝D-W；由拉普拉斯矩阵计算得到该图像块的最终高分辨率图像块；A5，待所有图像块得到最终的高分辨率图像块后，得到最终重建的高分辨率图像；重建时，对于两图像块重叠区域的像素点，取该像素点对应的两高分辨率像素值的平均值得到该像素点的高分辨率像素值。本专利技术与现有技术对比的有益效果是：本专利技术的超分辨率重建方法中，先计算得到初始的高分辨率图像，利用初始的高分辨率图像块计算其所对应的结构张量矩阵，根据结构张量矩阵的特征值判断图像块的类型，对于非平滑图像块，则通过构建的图论和拉普拉斯矩阵进行高分辨图像块的重建。本专利技术的方法结合图像块的不同特征选择不同的重建方法，更好地体现了图像块的结构信息，从而能很好的提升重建性能。相比传统的超分辨率方法，不需要额外的大批量字典训练样本，通过初始高分辨图像的结构特征并构建矩阵进行矩阵运算即可，能够降低重建的计算复杂度，节省处理时间。【附图说明】图1是本专利技术具体实施方式的图像的超分辨率重建方法的流程图；图2是本专利技术具体实施方式中生成的图论的示意图。【具体实施方式】下面结合具体实施方式并对照附图对本专利技术做进一步详细说明。本专利技术的构思是：结合图论法进行单帧图像的超分辨率处理。在以往的超分辨算法中，没有考虑图像的结构性。在本专利技术中，利用图像的结构特征，当图像块为非平滑图像块时，则结合图论来计算高分辨图像块。如图1所示，本具体实施方式的图像的超分辨率重建方法包括以下步骤：A1，计算待处理的低分辨率图像对应的高分辨率图像，作为初始的高分辨率图像，将得到的初始的高分辨图像分块，各图像块的大小为m×m，m为正整数，表示像素点的个数；计算各图像块的中心像素点的位置向量p所对应的结构张量Sw(p)。该步骤中，首先计算初始的高分辨率图像，计算时可通过成熟的简单方法计算得到，例如双三次插值算法或者二次插值算法等。得到初始的高分辨图像后，进行图像分块，各图像块的大小为m×m，m为正整数，表示像素点的个数。分块的图像块的大小，例如可分成5×5，或者7×7等，具体可根据用户对重建精度和复杂度的要求综合设定。分块后，计算每一图像块中心像素点的位置向量p所对应的结构张量Sw(p)。具体地，可以根据如下公式计算得到各图像块对应的结构张量Sw(p)：其中，p即表示图像块的中心像素点的位置向量，r从初始的高分辨率图像块得到，r表示图像块中的像素连接组成的向量。w(r)表示权重参数，∑rw(r)＝1；。w(r)即是可用来替代向量r的权重参数。Ix和Iy分别表示x轴和y轴的偏导数。A2，计算各图像块的结构张量Sw(p)的特征值，并根据计算得到的特征值判断图像块是否为平滑图像块。步骤A1得到的结构张量是一个矩阵，矩阵的特征值和特征向量可以通过现有成熟的方法计算得到，在此不再详细描述。由结构张量矩阵得到其特征值后，可根据其特征值λ1和λ2的关系即可判断图像块的类型，如当λ1≥λ2≥0时，相应的特征向量v1和v2描述了像素点p处的梯度特征向量v1对应较大的特征值λ1。如当λ1≈λ2≈0，该图像块为平滑的图像块。本具体实施方式中，当时，判断图像块是非平滑图像块；否则，判断图像块为平滑图像块。其中，δ表示阈值，和分别表示图像块n对应的结构张量Sw(p)的特征值，且当结构张量的特征值差异较大时，表明该图像块有一个具有控制的主要梯度，结构张量特征值的大小反映了梯度的强度。由图像块具有控制的主要梯度，可判断出图像块是非平滑块。后续在超分辨率重建中则利用该特性利用拉普拉斯矩阵进行重建。A3，在图像块为平滑图像块时，将步骤A1得到的初始的高分辨率图像块作为该图像块的最终高分辨率图像块。A4，在图像块为非平滑图像块时，根据该图像块生成图论其中，图论V表示多个彼此连接的顶点，各顶点为该图像块中的各像素点；ε和W分别表示自定义的一组边缘集合和一个权重邻接矩阵，其中，Wi,j表示边缘集合ε中的边缘e的权重；设定对角矩阵D，其中，第i个对角元素di表示图中顶点i的所有边缘事件的权重的总和；生成拉普拉斯矩阵L＝D-W；由拉普拉斯矩阵计算得到该图像块的最终高分辨率图像块。该步骤中，对于非平滑图像块，结合图论法进行图像的超分辨率重建。具体地，对于图论，高维数据往往存在于权重图的顶点上。图形是通用的数据表示形式，能够有效的用于描述在许多应用程序中的数据域的几何结构。在图中连接两个顶点的权重代表了所连接的两个顶点的相似度。这些图表上的数据可以被可视化为一个有限集合的样本，在图中的每个顶点的是一个样本。我们定义一个无方向、连接的、有权重的图其中包含了有限个顶点v，一组边缘ε和一个权重邻接矩阵W。如果有一组边e＝(i,j)连接了两个顶点i和j，则Wi,j表示了这组边的权重。当边缘权重没有根据应用进行特殊定义时，常用的一种方法是通过高斯核函数加权阈值定义一组边连接的两个顶点的权重：其中dist(i,j)可能代表顶点i和j的物理距离或代表描述顶点i和j的特征向量的欧氏距离，后者在半监督学习模式中更为常用。常见的第二种方式是基于物理或特征空间距离将顶点和离它最近的k个顶点连接起来。信号或函数f中本文档来自技高网...

【技术保护点】
一种图像的超分辨率重建方法，其特征在于：包括以下步骤：A1，计算待处理的低分辨率图像对应的高分辨率图像，作为初始的高分辨率图像，将得到的初始的高分辨图像分块，计算各图像块的中心像素点的位置向量p所对应的结构张量S

【技术特征摘要】
1.一种图像的超分辨率重建方法，其特征在于：包括以下步骤：A1，计算待处理的低分辨率图像对应的高分辨率图像，作为初始的高分辨率图像，将得到的初始的高分辨图像分块，计算各图像块的中心像素点的位置向量p所对应的结构张量Sw(p)；A2，计算各图像块的结构张量Sw(p)的特征值，并根据计算得到的特征值判断图像块是否为平滑图像块；A3，在图像块为平滑图像块时，将步骤A1得到的初始的高分辨率图像块作为该图像块的最终高分辨率图像块；A4，在图像块为非平滑图像块时，根据该图像块生成图论其中，图论表示多个彼此连接的顶点，各顶点为该图像块中的各像素点；ε和W分别表示自定义的一组边缘集合和一个权重邻接矩阵，其中，Wi,j表示边缘集合ε中的边缘e的权重；设定对角矩阵D，其中，第i个对角元素di表示图论中顶点i的所有边缘事件的权重的总和；生成拉普拉斯矩阵L＝D-W；由拉普拉斯矩阵计算得到该图像块的最终高分辨率图像块；A5，待所有图像块得到最终的高分辨率图像块后，得到最终重建的高分辨率图像；重建时，对于两图像块重叠区域的像素点，取该像素点对应的两高分辨率像素值的平均值得到该像素点的高分辨率像素值。2.根据权利要求1所述的图像的超分辨率重建方法，其特征在于：步骤A4中，根据如下步骤生成图论1)，从0°～180°的角度范围内选择一边缘方向ψ1，该边缘方向ψ1垂直于该图像块的质心；2)，从0°～90°的角度范围内选择一个角度，由该角度/{ψ1}确定另一个边缘方向ψ2，该边缘方向ψ2垂直于该图像块的质心；3)在图论中，使用步骤2)中的边缘方向ψ2将相邻的点连接起来从而得到图论3.根据权利要求2所述的图像的超分辨率重建方法，其特征在于：步骤1)中，从{0°，45°，90°，135°}四个角度中选择一个角度作为边缘方向ψ1；步骤2)中，从{0°，90°}两个角度中选择一个角度。4.根据权利要求1所述的图像的超分辨率重建方法，其特征在于：步骤A4中，...

【专利技术属性】
技术研发人员：张永兵，冯义晖，王兴政，王好谦，戴琼海，张云，
申请(专利权)人：清华大学深圳研究生院，深圳市未来媒体技术研究院，
类型：发明
国别省市：广东,44