一种新的基于邻域嵌入的超分辨率方法技术

技术编号:15504530 阅读:79 留言:0更新日期:2017-06-04 00:28
在本方法中,首先对图像块进行2维的离散余弦变换(2D‑DCT)。接着,2D‑DCT中的低频系数将赋予较大的权值,高频系数将赋予较小的权值。然后,将2D‑DCT的系数和其权值相乘,其结果将通过3D‑DCT的变换提取图像中的特征。接着,在训练集合中保存以上结果,以及真实的高分辨率块的信息。同时,提出了一个利用以上结果来衡量图像块之间相似度的指标。在线放大的过程中将利用此指标选择训练集合中相似的图像块,并利用流形学习的方法重建高分辨率的图像块。为了减少计算复杂度,采用改进的2级k‑均值的方法对训练集合中的图像块进行分类。实验结果显示本方法的性能要好于传统的领域嵌入的方法和双线性插值方法。

A new super-resolution method based on neighborhood embedding

In this method, firstly, 2 dimensional discrete cosine transform of image block (2D DCT). Then, the low frequency coefficient 2D DCT will be given more weight, the high frequency coefficients will be given less weight. Then, the coefficient of 2D DCT and its weight multiplied, the results will be through the 3D DCT transform to extract the feature of images. Next, the above results are preserved in the training set, as well as the information of the real high resolution blocks. At the same time, an index that uses the above results to measure similarity between image blocks is proposed. In the process of online amplification, the same image blocks in the training set are selected by using this index, and the manifold learning method is used to reconstruct the high resolution image blocks. In order to reduce the computational complexity of the method, using 2 K improved the means to classify the image blocks in the training set. Experimental results show that the performance of this method is better than that of traditional domain embedding method and bilinear interpolation method.

【技术实现步骤摘要】
一种新的基于邻域嵌入的超分辨率方法
本专利技术涉及一种图像超分辨率放大的方法,尤其涉及一种把低分辨率图像进行超分辨率放大得到高分辨率的图像的方法。
技术介绍
在互联网中,其网络中的节点通常在存储方面存在着存储空间的限制和在传输图像方面存在着发射功率方面的限制。由于高分辨率的图像经过压缩后产生的比特数往往超过了互联网中节点的存储空间和传输能力,因此在互联网的节点中存储和发送的往往是低分辨率的图像。但是,这些图像的观众或客户通常希望看到高分辨率的图像以清楚地看到图像中的细节,这些低分辨率的图像往往满足不了他们的需求。为解决这一问题,超分辨率技术被提出来以从低分辨率的图像构建高分辨率的图像。图像超分辨率的方法的目的是提高图像的分辨率。其利用一幅或多幅低分辨率的图像来构建一幅高分辨率的图像。本文考虑和研究的是仅利用一幅低分辨率的图像来得到一幅高分辨率图像的方法。这种方法可被称为单帧图像放大方法。这些方法通常不需要特定的硬件,同时具有较低的实现成本。它们有着广泛的应用领域,可对互联网中存储和发送的图像、计算机网络中的图像、遥感图像、医学图像、视频图像等各种图像进行放大处理。现有的图像超分辨率方法可以分为如下的三种方法:基于插值的方法、基于图像重构的方法、和基于学习的方法。在基于插值的方法中,它们利用当前要插值的像素周围的像素点的值来获得当前像素值。这些方法一般来说拥有较低的计算复杂度。但是,这些方法所获得的高分辨率图像通常存在图像边缘部分模糊的问题。在基于图像重构的方法中,它们先对高分辨率图像的降质和下采样过程进行建模,然后利用图像的先验信息和此模型来进行正则化的处理以估计或得到高分辨率的图像。在这些方法中,如果放大的因子大于2,重构的图像的质量将有很大程度的下降。因此,这些方法中的放大因子通常设置为1.6。所以,这些方法在放大因子大于或等于2时,一般来说不能得到高质量的高分辨率的图像。在基于学习的方法中,它们利用低分辨率的图像和高分辨率图像来构造训练集合,并利用训练集合来重建高分辨率的图像。由于这些方法具有较好的性能,它们被学者们进行了广泛的研究。这些方法能够进一步地分为三类子方法:基于样例的方法、基于邻域嵌入的方法、基于稀疏表示的方法。Freeman等人在2002年首先提出了基于样例的方法。这些方法利用马尔科夫随机场模型来学习低分辨率图像块和高分辨率图像块之间的关系。但是,这些方法需要有很长的训练时间和很大的训练集合。Yang等人在2008年提出了基于稀疏表示的方法。它们首先建立训练集合来表示低分辨率字典和高分辨率字典之间的关系。然后,利用这个训练集合进行高分辨率重建。但是,这些方法通常具有很高的计算复杂度和运行时间。Chang等人在2004年提出了利用局部线性嵌入思想的邻域嵌入的方法。这类方法的训练集合通常相对比较小,产生训练集合的计算复杂度和方法的运行时间通常可以接受。由于一幅图像通常具有比较大的尺寸和很多像素,在局部线性嵌入方法中先把图像进行分块操作。为了避免图像处理中的块效应,相邻块之间具有重叠的区域。传统的领域嵌入的方法的思想是从流形学习中的邻域嵌入的思想而得来的。在这个思想中,假设低分辨率图像中局部的几何特征和高分辨率图像中的局部的几何特征具有相似性。这类方法具有训练阶段和重构阶段。在训练阶段中,主要需要构建一个训练集合,在这个集合中具有从训练的已知图像中提取出的低分辨率的图像块的特征和相一一对应的高分辨的图像块的特征。低分辨率图像块的一阶和二阶梯度信息将保存在训练集合中,同时保存减去均值的高分辨的图像块的像素值。从高分辨图像到低分辨率图像的降质过程,通常使用一个点扩展函数和下采样来表示。在重建阶段,对于要重建的高分辨率块所对应的低分辨率图像块,在训练集合中首先寻找和其最接近的k个图像块。每个近邻图像块的权值和其与要放大的图像块的距离成正比。接着,这些k个图像块在训练集合中相对应的高分辨率块将通过线性组合来确定放大的高分辨率图像块。高分辨的图像将由所有放大后的高分辨率的图像块来获得。
技术实现思路
在本专利技术中,对于超分辨的方法进行了如下的改进:(1)提出了一种三维的重建方案以重建具有红色、绿色、和蓝色三个分量的高分辨率的彩色图像,以替代之前的二维重建的方法。所重建的图像具有更好的质量和色彩的一致性。(2)提出了利用加权的离散正弦变换系数来获得图像的特征的思想,以替代原有的二维的非加权的离散正弦变换系数的方法。这种思想被用到三维的离散正弦变换的系数中以在图像超分辨率重建时更好地获得图像的特征。(3)在所提出的方法中,利用图像中高频信息来表示高分辨率图像块的特征。(4)为了降低所提出方法的计算复杂度,提出了改进的k近邻方法,以减少寻找当前块的k近邻块的时间。由于人眼对于图像中的亮度信号比色度信号更敏感,在传统的彩色图像的邻域嵌入超分辨放大方法中,首先把图像从RGB空间转换到YUV空间。这里,Y分量表示图像中的亮度信息,U和V分量表示彩色图像中的色度信息。接着,仅对Y分量进行邻域嵌入处理,对于U和V分量采用双线性插值的方法。最后,图像从YUV空间转换回RGB空间。在所提出的方法中,采用三维的重建方法,这样就不需要从RGB空间转换到YUV空间。在所提出的方法中,利用了三维的RGB图像块的元组作为基本的操作单元,而不是像传统方法中的Y分量的二维的图像块作为基本的操作单元,以提高重构图像的质量和色彩上的一致性。这样,所重构的图像的视觉效果会更好,看上去会更自然。在传统的邻域嵌入方法中,在低分辨率图像的每个像素上,会进行一阶和二阶的梯度运算。对于每个一阶和二阶的梯度矢量,具有一个幅度分量和一个角度分量,因此,在一个低分辨率图像的像素上,需要保存和计算四个分量(一阶梯度的幅度分量和角度分量,二阶梯度的幅度分量和角度分量)。由于二阶梯度的计算值很容易受到噪声的干扰,这样,不仅在训练集合中寻找k个近邻时增加了计算复杂度,同时降低了其鲁棒性。由于低分辨率的图像是由高分辨率的图像降质得到的,其损失了图像中的高频细节,因此,在所提出的方法中,采用3维的DCT来表示低分辨率图像块的特征,并利用图像中的高频信息来表示高分辨率图像块的特征。这样,在表示高分辨率图像块的特征时,可以减少低频信息对其的干扰,以克服传统基于邻域方法在此方面的缺点。在本专利技术中,客观的评价各种方法质量的指标峰值信噪比(PSNR)和特征相似度(FSIM)被用来客观地评价所提出方法的效果。实验结果表明所提出的方法相对于双立方插值方法和传统的领域嵌入方法具有更好的性能。在已有的方法中,图像块之间的相似性是利用图像块之间的欧氏距离来度量的,同时在寻找当前块的k个近邻块时也采用此度量方法。但是,人眼对于图像的低频特征更敏感。在图像低频系数上的微小修改就能被人眼识别出来,而相同的对图像高频系数的微小的修改很可能人们就察觉不到。因此,在所提出的方法中,先采用图像块的2维DCT来区别图像块中的低频和高频特征。在图像块的比较中,首先采用2维DCT来对彩色图像块做变换。然后,低频系数的权值将被设置一个较大的值,高频系数的权值将被设置一个较小的值,所有2维DCT系数的权值之和为1。接着,DCT系数将和对应的因子相乘,并采用3维的DCT来去除一个红色、绿色、蓝色图像块之内本文档来自技高网
...
一种新的基于邻域嵌入的超分辨率方法

【技术保护点】
一种图像处理中的超分辨率处理方法,用于把低分辨率图像转换为高分辨率的图像,其特征在于:其对输入的训练图像的离线处理包括以下步骤,以产生供在线过程使用的训练集合,A1)对输入的高分辨率的图像进行滤波和下采样的过程,以模拟图像从高分辨率图像降质到低分辨率图像的过程;A2)提取此低分辨率图像中的图像块X

【技术特征摘要】
2016.11.11 CN 20161100713561.一种图像处理中的超分辨率处理方法,用于把低分辨率图像转换为高分辨率的图像,其特征在于:其对输入的训练图像的离线处理包括以下步骤,以产生供在线过程使用的训练集合,A1)对输入的高分辨率的图像进行滤波和下采样的过程,以模拟图像从高分辨率图像降质到低分辨率图像的过程;A2)提取此低分辨率图像中的图像块Xi和与此对应的高分辨率图像中的图像块Yi,初始时i=1;A3)对提取的低分辨率的3维图像块Xi中的红色、绿色、和蓝色的分量的2维的图像块分别进行二维的离散余弦(DCT)的变换,产生DCT系数A4)设计和2维DCT块一样大的非一致因子的二维数组Q,使低频的DCT系数对应较大的因子,高频的DCT系数对应较小的因子;A5)把DCT系数和其对应的因子进行相乘的操作,得到数组即有这里X(m,n)表示数组X的第(m,n)个元素,1≤m≤M,1≤n≤N,M×N是低分辨率图像块的大小;A6)对A5)中所得到的3个2维的块,进行3维的DCT变换,即有这里,XTQTi是第i块变换后的结果,1≤m≤M,1≤n≤N,M×N是低分辨率图像块的大小,并在训练集合中存储对此低分辨率块所进行以上操作所得到的3维的DCT系数XTQT(m,n,k),1≤m≤M,1≤n≤N,k=1,2,或3,这里M×N是低分辨率图像块的大小,k=1时表示红色,k=2时表示绿色,k=3时表示蓝色;A7)对以上A2)中提取的低分辨率块Xi进行双立方插值得到一高分辨率块在训练集合中存储A2)中提取的高分辨率块Yi和以上高分辨率块之间的差值即对第i块,存储在训练集合中的第i条信息为X(i),XTQT(i)和D(i),其中X(i)=Xi,XTQT(i)=XTQTi,D(i)=Di;A8)跳到A2)提取下一对图像块,i=i+1,以在训练集合中继续存储A6)和A7)步骤得到的信息,直到遍历图像中所有的图像块;A9)跳到A1),i=i+1,从下一幅训练图像中提取和存储信息;A10)按照对低分辨率的图像块提取的信息XTQTi进行改进的k-均值(k-means)的分类,以把相似的图像块聚为一类,这里在计算块与块之间的相似度时采取的指标为:在对要放大的低分辨率图像所进行的在线放大的过程包括如下步骤,B1)提取要放大的低分辨率的图像中的第j个图像块Xj,初始时j=1;B2)对此图像块Xj进行以上A3)到A6)的步骤的处理,得到3维的数组XTQTj;B3)对低分辨率的图像块Xj进行双立方插值得到高分辨率的图像块B4)在训练集合中进行搜索的过程。此过程对在离线过程中所得到的训练集合中进行搜索,提取训练集合中的第q条信息,得到在A7)步骤存储的第q个XTQT(q)和D(q),然后得到和此D(q)所对应的高...

【专利技术属性】
技术研发人员:端木春江
申请(专利权)人:浙江师范大学
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1