一种基于双向对齐稀疏表示的单幅图像超分辨率重建方法技术

本发明专利技术公开了一种基于双向对齐稀疏表示的单幅图像超分辨率重建方法，包括如下步骤：（1）读入一幅彩色低分辨率图像，将该图像由RGB彩色空间转换到YCbCr彩色空间；（2）利用双三次插值法将图像初步转化到目标大小，然后着重对转化后图像的亮度分量进行基于双向对齐稀疏表示的超分辨率重建建模操作，最后通过迭代收缩阈值算法对重建模型迭代求解，得到高分辨率图像亮度分量的最优估计值；（3）将图像从YCbCr彩色空间转换到RGB彩色空间，得到超分辨率重建的最终输出。本发明专利技术方法不仅能够有效提升重建后的图像质量，还在鲁棒性方面优于传统的方法。

A single image super resolution reconstruction method based on bidirectional alignment sparse representation

The invention discloses a single image representation based on sparse two-way alignment super-resolution reconstruction method, which comprises the following steps: (1) read a color low resolution image, the image from the RGB color space is transformed into YCbCr color space; (2) using double three times interpolation method will be transformed into the preliminary image size of target. Then the transformed the luminance image super-resolution reconstruction modeling bidirectional alignment based on sparse representation emphatically, finally through the iterative shrinkage thresholding algorithm for iterative reconstruction model, get the optimal estimation of high resolution image brightness component; (3) the image is transformed from YCbCr color space to RGB color space, get the final output super resolution reconstruction. The method not only can effectively improve the quality of reconstructed images, but also is superior to the traditional methods in robustness.

【技术实现步骤摘要】

本专利技术属于图像处理领域，涉及一种基于双向对齐稀疏表示的单幅图像超分辨率重建方法。
技术介绍
空间分辨率是衡量成像系统所采集到图像质量的一项重要指标。图像分辨率越高意味着图像越清晰，呈现细节的能力越强。然而，在实际中由于安装的摄像设备分辨率低、目标距离过远或拍摄环境恶劣等原因使得拍摄到的图像往往质量较差，难以从图像中获得需要的细节特征，给后续的图像处理、分析带来了更多困难，不利于准确地理解图像中包含的客观信息。针对上述问题，最直接的方法是提高电子成像设备的物理分辨率级别，即更换更高分辨率的摄像机。可惜的是，高清摄像仪器技术复杂、价格昂贵，因此难以在短时间内对现有的设备进行大规模地升级。而且，摄像设备的能力极限也受目前传感器制造工艺和客观光学衍射规律的制约。同时，在某些成像环境恶劣的场合，即使采用高质量的摄像仪器也难以获得令人满意的图像。因此，从图像处理的角度寻求一种更经济有效的图像分辨率增强方案势在必行。正是在这种背景下，单幅图像的超分辨率技术应运而生。该技术可以在不改变成像系统固有物理分辨率的前提下，通过图像处理技术对采集到的单幅低分辨率图像进行相应处理来获得高分辨率图像。这种技术的优势在于不但可以突破现有成像系统的极限，而且考虑了图像退化过程中的降采样、模糊、噪声等多种因素，因此在提高空间分辨率的同时，还可以大大改善重建后图像的质量，这些对于后续的图像分析，模式识别等都有着十分重要的意义。正因如此，超分辨率重建技术应用十分广泛，是现今图像处理领域最热门的研究课题之一。
技术实现思路
专利技术目的：为了解决现有技术中采用提高摄像设备的方式改变图像质量存在很多限制的问题，本专利技术提供一种基于双向对齐稀疏表示的单幅图像超分辨率重建方法，可以有效提升重建后图像质量。技术方案：为了实现上述目的，本专利技术中基于双向对齐稀疏表示的单幅图像超分辨率重建方法，包括如下步骤：步骤1：读入一幅大小为N1×N2×3的彩色低分辨率图像Il，其中N1和N2为正整数，分别表示该低分辨率图像像素矩阵的行数和列数，3则表示颜色通道数。然后将输入的图像由RGB彩色空间转换到YCbCr彩色空间：式中，R，G，B分别表示转换之前图像在RBG彩色空间中的红色分量，绿色分量和蓝色分量；而Y，Cb，Cr则表示转换后在YCbCr彩色空间中的亮度分量，蓝色和红色偏差色度分量。转换后图像的大小不变，仍为N1×N2×3；步骤2：利用转换后的低分辨率图像重建一幅大小为pN1×pN2×3的高分辨率图像Ih，其中p为正整数，表示放大因子。重建高分辨率图像的方法具体为：(2.1)低分辨率图像到高分辨率图像的初步转化利用双三次插值算法对转换后的低分辨率图像的每个色彩通道分别进行插值，插值后的大小应与预期需要重建的高分辨率图像大小一致。若定义放大因子为p，那么插值后的图像大小应为pN1×pN2×3，并记为Ib。考虑到人类视觉系统对亮度的变化比对色度的变化更敏感，因此为了提高运算效率，后续的步骤仅对高、低分辨率图像和插值后图像的亮度分量进行操作，并将这三个亮度分量分别定义为X′，Y′，Z′。(2.2)建立高分辨率图像的退化模型图像的退化模型揭示了低分辨率图像与其对应高分辨率图像之间的关系。在建立这个模型之前，首先将X′，Y′矢量化，即由矩阵形式转化为列向量形式(本专利技术中对于亮度分量，在存储、读取的时候采用矩阵形式，在进行运算处理的时候采用向量形式)，然后可以建立如下图像退化模型：Y＝SBX+V其中，Y表示Y′的向量形式，包含了N＝N1N2个元素；X则是X′的向量形式，包含了M＝p2N1N2个元素；S表示大小为N×M的降采样矩阵；B表示大小为M×M的模糊矩阵；V表示噪声。模糊矩阵B可以通过模糊核位移来确定，若模糊核为h＝(h1,h2,h3)，则且上述h1＝0.25，h2＝0.5，h3＝0.25；降采样矩阵S则为：对于i＝1,2,...,N(2.3)建立基于双边稀疏表示的图像超分辨率重建模型根据(2.2)中建立的图像退化模型以及信号稀疏表示理论，将退化模型中高分辨率图像的求解过程转化为如下高分辨率图像的重建优化模型解的优化过程上式就是提出的基于双向对齐稀疏表示的超分辨率重建模型。其中，表示l2范数的平方，||·||1则表示l1范数，μ1和μ2分别表示对应的权重；Ri表示大小为m×M的图像块提取矩阵，作用是从高分辨率图像中提取第i个大小为m×1图像块xi，即xi＝RiX；Q表示总共可以提取到的图像块数量；α表示高分辨率图像的图像块在各自字典下的稀疏编码系数，可以表示为[α1,α2,…,αQ]；和ψ表示稀疏编码系数的双向自相似，它们用于对齐估计的稀疏编码系数，分别可以表示为和[ψ1,ψ2,…,ψQ]。上述的字典，双向自相似将分别在(2.4)和(2.5)中确定。(2.4)字典学习以及分配根据(2.3)中已经提取的图像块建立训练集接着利用K-means聚类算法对训练集进行K分类。分类后的每一类图像块具有相似的几何结构，因此可以再用主元分析法对每一类图像进行运算操作，得到一个正交的变换矩阵，这个矩阵将被视为这类图像的子字典，同时被用于对这类图像块的稀疏编码，而全局字典则是所有子字典的集合，即对于任意图像块xi，假设其被划分至第ti类，那么根据其所属的类别即可自动将对应的子字典分配给它，而其余部分并不参与该图像块的后续操作。这里的只是为了描述方便体现其与图像块xi对应，其为集合中的元素。(2.5)双向自相似模型建立对于每一个图像块xi，在图像训练集中寻找P个与其最相似的对象，并以此构建这个图像块的相似数据矩阵Ui。其中相似数据矩阵大小为m×P，而这里的相似指代的是欧式距离较小。构建了相似数据矩阵后，这个图像块的双向自相似模型可以如下分别建立：(2.5.1)列自相似模型其中，βi表示列自相似系数，η1是其权重。因为上式是凸的，所以有如下解其中，E表示单位矩阵。因此，图像块xi的列自相似可以表示为(2.5.2)行自相似模型类似的，还可以建立图像块xi的行自相似模型其中，γi表示行自相似系数，η2是其权重；C表示的作用是提取相似数据矩阵中的中间行，即所有相似数据的中心点像素。同样，上式有如下解：在求行自相似之前，需要先将所有求得的投射到与高分辨图像对应的网格中，再将其矢量化得到H。然后再利用图像块提取矩阵在H中提取每个图像块的对应的行自相似，即综合(2.5.1)和(2.5.2)，利用双向自相似模型可以求得稀疏系数α的双向自相似和ψ。(2.6)基于双向对齐稀疏表示的超分辨率重建模型的求解模型(1)中所需要的数据的求解方法均已在上文步骤中作了详细介绍。各个过程中所需要的标量参数可以代表性地赋值如下：m＝25，P＝12，K＝50，η1＝0.1,η2＝0.3，μ1＝0.7，μ2＝0.1。模型(1)是l1范数和l2范数的混合优化模型，这个模型是非凸的。因此，模型(1)没有直接的解析解，但它可以通过迭代收缩阈值算法迭代求解，得到高分辨率图像的最优估计值，具体步骤如下：步骤2.6.1：将初步插值后的图像Z′矢量化后，作为高分辨率图像的初始估计值X(0)；步骤2.6.2：设定迭代计数值l＝0；步骤2.6.3：从X(l)中提取图像块，并建立训练集步骤2.6.4：按照(2.4)所述，对训练集进行字典学习本文档来自技高网...

【技术保护点】
一种基于双向对齐稀疏表示的单幅图像超分辨率重建方法，用于获取某一彩色低分辨率图像对应的高分辨率图像，其特征在于，该方法包括以下步骤：步骤(1)：获取该彩色低分辨率图像的图像像素矩阵，将该图像由RGB彩色空间转换到YCbCr彩色空间得到转换后的低分辨率图像；步骤(2)：对转换后的低分辨率图像的每个色彩通道分别进行插值得到插值后图像，利用亮度分量构建转换后的低分辨率图像与其对应的高分辨率图像之间的退化模型，根据信号稀疏表示理论将退化模型中高分辨率图像的求解过程转化为高分辨率图像的重建优化模型解的优化过程，利用迭代收缩阈值算法对所述高分辨率图像的重建优化模型进行求解，得到高分辨率图像的最优估计值；所述插值后图像与所述转换后的低分辨率图像所对应的高分辨率图像的图像大小一致；步骤(3)：将步骤(2)中得到的高分辨率图像矩阵化，再用其替代插值后图像中的亮度分量，形成在YCbCr彩色空间的超分辨率重建结果，将所述重建结果从YCbCr彩色空间转换到RGB彩色空间。

【技术特征摘要】
1.一种基于双向对齐稀疏表示的单幅图像超分辨率重建方法，用于获取某一彩色低分辨率图像对应的高分辨率图像，其特征在于，该方法包括以下步骤：步骤(1)：获取该彩色低分辨率图像的图像像素矩阵，将该图像由RGB彩色空间转换到YCbCr彩色空间得到转换后的低分辨率图像；步骤(2)：对转换后的低分辨率图像的每个色彩通道分别进行插值得到插值后图像，利用亮度分量构建转换后的低分辨率图像与其对应的高分辨率图像之间的退化模型，根据信号稀疏表示理论将退化模型中高分辨率图像的求解过程转化为高分辨率图像的重建优化模型解的优化过程，利用迭代收缩阈值算法对所述高分辨率图像的重建优化模型进行求解，得到高分辨率图像的最优估计值；所述插值后图像与所述转换后的低分辨率图像所对应的高分辨率图像的图像大小一致；步骤(3)：将步骤(2)中得到的高分辨率图像矩阵化，再用其替代插值后图像中的亮度分量，形成在YCbCr彩色空间的超分辨率重建结果，将所述重建结果从YCbCr彩色空间转换到RGB彩色空间。2.根据权利要求1所述的单幅图像超分辨率重建方法，其特征在于，步骤(2)中所述转换后的低分辨率图像与其对应的高分辨率图像之间的退化模型为：Y＝SBX+...

【专利技术属性】
技术研发人员：路小波，谢超，姜胜芹，曾维理，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32