一种利用多类字典的图像超分辨率方法技术

本发明专利技术提出了一种图像超分辨率的方法。在训练阶段，通过对图像的旋转得到更多的训练图像，以提高此方法的性能。同时，通过以描述图像块的纹理特征的一阶梯度和二阶拉普拉斯算子来定义图像块之间的距离，并根据计算出的距离把所有图像块分为K个类，得到每个类的中心，低分辨率的字典、和高分辨率的字典。在线过程中，先根据输入低分辨率图像上的块的类别来选择低分辨率的字典，并求出此字典下稀疏表示的系数。然后，根据此类别中的高分辨率的字典和此系数，对低分辨率块进行放大和重构。最终，对块与块之间重叠的区域，采取取平均值的方法，得到高分辨率的放大图像。实验表明，所提出方法的放大重构的图像的质量优于已有的方法。

【技术实现步骤摘要】
一种利用多类字典的图像超分辨率方法
本专利技术涉及到一种图像处理的方法，尤其是单幅图像的超分辨率处理的
即，仅给定一幅低分辨率的图像，需要从中重构出高分辨率且清晰度更高的图像。本技术在图像与视频的放大、视频监控、遥感图像处理等领域有着广泛的的应用。
技术介绍
仅从一幅低分辨图像中重建出一幅高分辨图像的过程称为单幅图像的超分辨率技术(singleimagesuper-resolution)。在最近一些年，单幅图像的超分辨率技术在实际生活中有着广泛的应用，例如：在遥感图像，医学图像，监控图像，图像视频压缩和计算机视觉等领域，此技术用来提高图像的清晰度。目前，图像的超分辨的方法可以分为如下几类：(1)基于插值的方法。其利用图像的已知低分辨率像素值来进行插值获得高分辨率像素值。这类方法的特点是速度快，然而其重构的图像的质量不高，尤其是对于图像的边缘部分，会产生边缘模糊的效应。(2)基于样例的方法。在这类方法的基于外部样例法中，利用外部大量的训练图像来得到含有低分辨率图像块和所对应的高分辨率图像块的集合。然后，对待放大的图像块，在训练集合中寻找其最相似的几个低分辨率的图像块，通过这些图像块在训练集合中所对应的高分辨率图像块的优化的组合来得到高分辨率的图像块。在这类方法的基于内部样例法中，通过对输入的低分辨率图像进行模拟的退化过程，得到分辨率更低的图像块，并不断迭代重复这一过程直到获得足够多的在不同分辨率上的图像块，以在这些图像中，提取低分辨率的图像块和所对应的高分辨率的图像块放入训练集合。这类方法的特点是训练时间长，需要很大的存储空间来存储训练集合。同时，其找到相似块的计算部分很费时。其重构的高分辨率的图像的质量一般来说要好于基于插值的方法，但是在图像中会产生块效应，影响其输出图像的视觉效果。(3)基于神经网络进行深度学习的方法。在这类方法中利用多层的卷积神经网络(CNN)来学习低分辨率图像到高分辨率图像的映射，在学习完之后，利用学习好的模型来产生高分辨率的图像。在这里，需要大量的训练图像来产生较好的卷积神经网络的模型。一般来说，这类方法的效果也要好于基于插值的方法。同时，如果输入的低分辨率图像和训练集中的图像的差异较大时，会降低其输出图像的质量。(4)基于稀疏表示的方法。在这类方法中，利用大量的训练图像来产生可以稀疏表示图像的字典，包括低分辨率图像的字典和高分辨率图像的字典。对于要放大图像上的图像块，首先利用低分辨率字典来稀疏表示，然后利用同样的稀疏表示的系数和高分辨率的字典来产生高分辨率的图像块。这类方法在训练之后，仅需要存储低分辨率块的字典和高分辨率块的字典，其需要的存储空间大大小于基于样例的方法。一般情况下，其获得的输出的图像的质量和以上所介绍的基于神经网络进行深度学习方法所输出的图像的质量差不多。同时，其泛化能力强，即使要放大的图像和训练集合中的图像相差较大，也能获得较好的输出的高分辨率的图像。通过以上介绍，可以看出基于稀疏表示的方法具有较好的性能，本专利技术将对原有的基于稀疏表示的方法进行改进，以提高输出的高分辨率图像的质量和视觉效果，得到更清晰的图像。
技术实现思路
在本专利技术中，我们对Zeyde提出的方法进行改进，首先对训练集通过旋转和翻转扩大训练集，再使用图像块复杂度的标准将训练集分为几类，然后，对每类中的低分辨率块和高分辨率块使用K-SVD字典学习的方法，对每个类学习得到一个低分辨率的字典和一个高分辨率的字典。当输入一幅低分辨率图像时，首先对其分块，然后对图像块确定其类别，然后选取该类别中的低分辨率的字典使用匹配跟踪的方法得到其低分辨率块的稀疏表示的系数，利用该类中高分辨率的字典和所得的稀疏表示的系数，可以重构高分辨率的图像块，最终对这些图像块的重叠部分，通过取平均值的方法得到其像素值，得出质量比较好的放大图像。1)扩大训练集中所包含图像的方法由于随着训练图像集的扩大，基于稀疏表示的方法的效果会更好。因此，我们想到将训练集中的每一幅图像分别进行90°、180°、270°的旋转，得到四幅图像。从而将原有训练集中的图像的个数扩大为原来的4倍。2)利用高分辨率输入图像产生低分辨率的图像的过程这里对高分辨率图像中的像素值fH(i，j)，采用滤波函数其中为需要在实验中确定的方差参数，进行滤波，然后进行下采样的操作。3)图像块复杂度标准的计算方法对于每个低分辨率的图像块，本专利技术都要首先计算出其图像块复杂度标准，其定义为其中，本专利技术中为一列矢量，W为图像块的宽度，H为图像块的高度，λ是平衡因子，需要在实验中优化的确定，输入的图像块在(i，j)坐标上的像素值为I(i，j)，图像块列矢量由对此图像块按从左到右，从上到下，的逐行顺序扫描得到的像素点值构成，先扫描到的像素值在列矢量中排在前面。以下，所涉及到的图像块的列矢量也由此方法构成。然后，对此图像块首先和中心在图像块坐标的原点，方差为σ2，的高斯函数进行卷积运算，得到图像块G，在(i，j)坐标上，滤波后的值G(i，j)为式(2)中表示图像块G在(i，j)处的梯度，表示图像块G在(i，j)处的二阶拉普拉斯算子的值。梯度和分别为图像在像素点(i，j)处的水平方向和垂直方向的梯度值，则这样，公式(2)的计算值可以描述图像块的纹理特征的丰富性。在离散的图像像素空间中，有不同的计算梯度和拉普拉斯算子值的方法，本专利技术采用Sobel算子来计算梯度，即，水平方向和垂直方向的梯度值分别用以下的式(6)和式(7)计算，图像像素点上的拉普拉斯算子值，采用以下式(8)来计算4)训练图像块的分类的方法对每个输入的训练的高分辨率图像，将对其进行滤波和下采样得到所对应的低分辨率的图像。然后，对高分辨率图像块和所对应的低分辨率图像块进行分类。分类中的计算图像块之间的距离的准则是以上所提出的图像块复杂度的标准，即，对两个低分辨率的图像块和其距离定义为其中，的定义为公式(2)。根据以上定义的低分辨率块的距离，采用K-means(K-均值)的分类方法把所有的低分辨率的块分为K个类，并确定每个类的中心1≤k≤K。K值的优化的选取将在实验中确定。5)确定每个类中的高分辨率的字典和低分辨率的字典根据以上的分类方法，可以确定所有的低分辨率的图像块所属的类别。对于高分辨率的图像块，其所属的类别将由其所对应的低分辨率的图像块来确定，即，所对应的低分辨率块属于某一类，高分辨率的块就属于这一类。这样，对于第k类，就存在很多属于这一类的高分辨率的图像块和所对应的低分辨率的图像块。然后，利用稀疏表示中的K-SVD方法的联合字典的训练方法，可以得到每一类的低分辨率的字典Dl(k)和所对应的高分辨率的字典Dh(k)，1≤k≤K，在本专利技术中，使用粗体符号表示矩阵。完成这一步骤后，就完成了离线的训练过程。6)在线的低分辨率的图像块所属类别的确定方法对于低分辨率的图像块将计算其和每一个类的中心之间的距离，即然后，选择图像块和类中心距离最近的类k0作为这个低分辨率块所属的类别，即，有6)利用低分辨率块重构高分辨率块的方法在确定了在线低分辨率块lx所属的类别k0了之后，利用这个类的低分辨率的字典，和优化的匹配跟踪(optimalmatchingpursuit)方法，可以确定低分辨率块在这个类的低分辨率字典Dl(k0)上的本文档来自技高网...

【技术保护点】
1.一种利用多类字典的图像超分辨率方法，其特征在于，其离线的训练阶段包括如下步骤：1)步骤1，输入图像数据库中的图像作为高分辨率图像的训练图像集；2)步骤2，将输入的高分辨率训练图像旋转90°、180°和270°，最终训练集中的图像个数扩大为原来的4倍，；3)步骤3，对每一幅高分辨率图像采用如下式(1)的函数进行滤波，

【技术特征摘要】
1.一种利用多类字典的图像超分辨率方法，其特征在于，其离线的训练阶段包括如下步骤：1)步骤1，输入图像数据库中的图像作为高分辨率图像的训练图像集；2)步骤2，将输入的高分辨率训练图像旋转90°、180°和270°，最终训练集中的图像个数扩大为原来的4倍，；3)步骤3，对每一幅高分辨率图像采用如下式(1)的函数进行滤波，然后采用下采样操作得到对应的低分辨率图像。然后，对高分辨率图像和所对应的低分辨率图像进行分块，得到低分辨率的图像块和所对应的高分辨率的图像块；4)步骤4，对所有的低分辨率的图像块进行分类，分为K个类，并得到每个类的中心在本发明中表示一个列矢量。5)步骤5，对每个类中的低分辨率图像块和所对应的高分辨率图像块，进行稀疏表示的K-SVD方法进行联合字典的训练，得到第k类中的低分辨率的字典Dl(k)，和高分辨率的字典Dh(k)，1≤k≤K，在此，使用粗体符号表示矩阵，其在线的对输入图像的超分辨率放大阶段，包括以下步骤：1)步骤1，对低分辨率的图像进行分块处理；2)步骤2，确定低分辨率的图像块和每个类中心的距离，并选取其中和距离最近的类中心的类别k0，并把当前低分辨率的图像块的类中心确定为把此图像块分为此第k0类；在本发明中图像块列矢量由对此图像块按从左到右，从上到下，的逐行顺序扫描得到的像素点值构成，先扫描到的像素值在列矢量中排在前面，以下，所涉及到的图像块的列矢量也由此方法构成，3)步骤3，在第k0类中，利用这个类的低分辨率的字典Dl(k0)，和优化的匹配跟踪(optimalmatchingpursuit)方法，可以确定低分辨率块在这个类的低分辨率字典Dl(k0)上的稀疏表示的系数4)步骤4，利用这个类的高分辨率的字典Dh(k0)，和稀疏表示的系数重构高分辨率的放大块即5)步骤5，对所有的低分辨率图像上的低分辨率图像块都...

【专利技术属性】
技术研发人员：端木春江，戚和平，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：浙江,33