基于高质量边缘信息引导的深度图像超分辨重建的方法技术

本发明专利技术涉及一种基于高质量边缘信息引导的深度图像超分辨重建的方法。包括以下步骤：对一组高分辨率示例图像进行预处理得到高分辨和低分辨率图像块对；对低分辨率和高分辨率图像块对进行联合训练，构造低分辨率和高分辨率图像块的字典对；输入低分辨率测试图像，插值放大到目标尺寸，使用冲击滤波对插值后的图像进行处理，并提取滤波后的图像的边缘；使用训练的字典对对边缘图像进行稀疏表示，构造出高质量边缘；在高质量边缘信息的引导下，使用改进的联合双边滤波器对低分辨率测试图像进行插值重建，从而得到期望的高分辨深度图像。该方法不仅可以避免在重建过程中造成边缘模糊和锯齿的现象，保持图像边缘的锐利性，而且可以有效地抑制噪声。

Depth image super resolution reconstruction method guided by high quality edge information

The invention relates to a method for deep image super resolution reconstruction guided by high quality edge information. It includes the following steps: preprocessing a set of high-resolution sample images to obtain high-resolution and low-resolution image block pairs; training low-resolution and high-resolution image block pairs jointly to construct dictionary pairs of low-resolution and high-resolution image blocks; inputting low-resolution test images, interpolating and enlarging the target size; Impulse filtering is used to process the interpolated image and extract the edge of the filtered image; training dictionary is used to sparsely represent the edge image to construct high quality edges; under the guidance of high quality edge information, the improved joint bilateral filter is used to interpolate the low resolution test image. Thus, the desired high resolution depth image can be obtained. This method can not only avoid the phenomenon of edge blurring and sawtooth in the reconstruction process, but also keep the edge sharpness of the image and effectively suppress the noise.

【技术实现步骤摘要】
基于高质量边缘信息引导的深度图像超分辨重建的方法
本专利技术属于计算机视觉和图像处理领域，尤其涉及一种深度图像超分辨重建的方法。
技术介绍
随着计算机视觉技术的快速发展，仅依靠彩色图像中的信息已不能满足计算机视觉方面的应用需求，而深度图像正好可以弥补这一缺陷。深度图像描述了场景中物体距离相关的信息。一些主动式传感器，如Kinect和PMD(PhotonicMixerDevice)相机等可以简单地获取场景的深度信息，但是由于传感器硬件系统的限制和外部环境的影响，导致直接获取的深度图像的分辨率较低，影响了其在实际应用中的要求。因此，提高深度图像的分辨率有着重要的意义。深度图像超分辨重建技术可以有效地提高图像的分辨率。当前，国内外许多学者已经对深度图超分辨重建技术进行了研究。根据重建过程中参考信息来源的不同，深度图像超分辨重建技术主要可以分为四类：插值法、基于同场景图像序列融合的方法、基于高分辨率彩色图像引导的方法、基于示例图像学习的方法。插值法是通过相邻位置的像素值推断待插值位置的像素，该方法简单、高效，但是容易引起图像边缘模糊和锯齿的现象；基于同场景图像序列融合的方法是通过相关低分辨率深度图像中的信息来弥补未知位置像素信息，该方法对相邻帧间相机移动的要求比较严格，要求镜头与场景中物体仅存在镜头所在平面平行方向的细微地移动，在实际应用中难以满足；基于高分辨率彩色图像引导的方法是通过深度图像和彩色图像内容分布的一致性来引导深度图像重建，该方法需要有与深度图像高度配准的高分辨彩色图像的协助；基于示例图像学习的方法需要从示例图像集中学习一种低分辨率图像到高分辨率图像间的特征关系，利用这种特征关系指导图像重建，该方法对示例图像训练集的依赖性比较强，使用不同的训练数据集进行重建的效果可能也不同。
技术实现思路
本专利技术为解决上述现有深度图像超分辨方法存在的问题，所采用的技术方案为提供一种基于高质量边缘信息引导的深度图像超分辨重建的方法，该方法包括以下步骤：S1：输入一组高分辨率示例图像，对其进行预处理得到高分辨和低分辨率图像块对；S2：对低分辨率和高分辨率图像块对进行联合训练，构造低分辨率和高分辨率图像块的字典对；S3：输入低分辨率的测试图像，插值放大到目标尺寸，使用冲击滤波对插值后的图像进行处理，并提取滤波后的图像的边缘；S4：使用训练的字典对对边缘图像进行稀疏表示，构造出高质量边缘；S5：在高质量边缘信息的引导下，使用改进的联合双边滤波器对低分辨率测试图像进行插值重建，从而得到期望的高分辨深度图像。与现有的技术相比，本专利技术具有以下有益技术效果：1)本专利技术不需要为获得相邻序列帧图像而遵守严格的假设；2)本专利技术不需要为获取与深度图像高配准的高分辨率彩色图像而进行复杂过程；3)本专利技术也没有对外部训练数据集强烈的依赖性；4)本专利技术不仅可以避免重建图像边缘模糊或锯齿的现象，保持边缘的锐利性，而且可一定程度的抑制噪声。附图说明图1为本专利技术基于高质量边缘信息引导的深度图像超分辨算法框架图；图2为本专利技术中边缘图像恢复的流程图；图3为本方法和现有4种方法对测试图像“Cones”在四倍分辨率放大情况下，重建结果的比较；图4为本方法和现有4种方法对测试图像“Tsukuba”在四倍分辨率放大情况下，重建结果的比较。具体实施方式以下结合附图和具体的实施方式对本专利技术作进一步的说明，首先对本专利技术中出现的参数进行解释说明：其中代表训练的示例图像集合中是第j张高分辨率图像。代表的下采样后的图像。表示插值放大后的图像。和分别表示第j张低分辨率图像中第k个图像块和第j张高分辨率图像中第k个图像块。Al和Ah分别表示低分辨率字典和高分辨率字典。Dl和Dh分别表示低分辨率测试图像和其重建后的高分辨率图像。El和Εh分别表示低质量的边缘图像和重构后的高质量边缘图像。角标j表示图像集合中第j张图像，角标l和h分别表示图像的低分辨率和高分辨率版本。如图1所示，基于高质量边缘信息引导的深度图像超分辨重建的方法，该方法包括以下步骤：S1：输入一组高分辨率示例图像对其进行预处理使得到高分辨和低分辨率图像块对具体包括以下步骤：步骤1：对图像进行s倍的下采样，得到低分辨率图像步骤2：使用双立方插值算子对进行s倍的插值放大，得到插值图像步骤3：得到残差图像来消除图像中的低频信息，使用高通滤波器对进行滤波消除低频信息；步骤4：从滤波后的图像和残差图像中分别提取图像块，得到低分辨率和高分辨率图像块对S2：对低分辨率和高分辨率图像块对进行联合训练，构造低分辨率和高分辨率图像块的字典对：首先对低分辨率图像块进行字典学习，使用基于K-SVD字典学习的过程进行训练，生成低分辨图像块的字典Al：其中L是稀疏度约束参数，{qk}k是相对应于的稀疏表示的系数。下面开始高分辨率图像块字典Ah的训练。假设我们已经有了训练好高分辨率图像块字典Ah，则高分辨图像块可以使用字典中原子近似表示，即从S1中步骤3可知高分辨图像块字典Ah，实际上是与残差图像对应的字典。因此残差图像可以表示如下：其中Rk是图像块提取算子，在图像k位置处提取大小的块。表示把高分辨率块Ahqk放置在高分辨网格的第k位置处。是一个对角矩阵，该矩阵根据重叠图像块所产生的贡献数量，对高分辨率结果中的每个像素进行加权。对相应的高分辨率图像进行表示时，可以使用残差图像加上相应得低频信息于是有：而只是原始高分辨图像的一种近似表示形式，为了减小和之间的误差，我们可以最小化求得最佳的字典Ah：若令则因为所以上式可以写成：上式等价于求解关于Ah的函数的最小值，其梯度表达式可以写成：使用梯度下降法，沿着梯度下降的方向进行求解可以找到最佳高分辨率字典Ah。通过以上训练过程，可以得到低分辨率和高分辨率图像块的字典对{Al,Ah}。S3：输入低分辨率的测试图像Dl，插值放大到目标尺寸，使用冲击滤波对插值后的图像进行处理，并提取滤波后的图像的边缘，得到低质量边缘图像El；S4：使用训练的字典对对边缘图像El进行稀疏表示，构造出高质量边缘Εh；该步骤中,对于低质量边缘图像El有较强的稀疏性,结合稀疏编码的方法可以有效地重构出高质量边缘图像Εh。具体地，步骤1：在边缘图像El的k位置处提取大小为的图像块这些图像块构成了集合步骤2：通过OMP算法，使用低分辨字典Al中的原子对图像块进行稀疏表示，得到稀疏表示的系数{ck}k；步骤3：稀疏表示的向量{ck}k与高分辨率字典Ah中相应的原子相乘，可以近似地获得的高分辨率边缘图像块即：步骤4：从S1中步骤3，我们可知图像块实际上是残差图像中对应的图像块，所以残差图像Eh-El中提取的图像块应该尽可能接近因此，有关于高质量边缘图像Eh的表达式如下：通过最小二乘法求得高质量边缘图像Eh。上述S3和S4过程即边缘图像恢复的过程，如图2所示。S5：在高质量边缘信息Eh的引导下，使用改进的联合双边滤波器对低分辨率测试图像Dl进行插值重建，从而得到期望的高分辨深度图像Dh，该表达式为：其中：Dh(p)表示最终重建的高分辨图像p位置的像素值，kp一个正则化因子，N(p)表示以像素p为中心的领域窗口，Dl(q↓)表示在输入的低分辨率测试图像Dl中坐标q↓处的像素值，Εh表示重构的高质量边缘，p↓和q↓分别表示像素p和q的坐标，本文档来自技高网...

【技术保护点】
1.基于高质量边缘信息引导的深度图像超分辨重建的方法，其特征在于，该方法包括以下步骤：S1：输入一组高分辨率示例图像，对其进行预处理得到高分辨和低分辨率图像块对；S2：对低分辨率和高分辨率图像块对进行联合训练，构造低分辨率和高分辨率图像块的字典对；S3：输入低分辨率的测试图像，插值放大到目标尺寸，使用冲击滤波对插值后的图像进行处理，并提取滤波后的图像的边缘；S4：使用训练的字典对对边缘图像进行稀疏表示，构造出高质量边缘；S5：在高质量边缘信息的引导下，使用改进的联合双边滤波器对低分辨率测试图像进行插值重建，从而得到期望的高分辨深度图像。

【技术特征摘要】
1.基于高质量边缘信息引导的深度图像超分辨重建的方法，其特征在于，该方法包括以下步骤：S1：输入一组高分辨率示例图像，对其进行预处理得到高分辨和低分辨率图像块对；S2：对低分辨率和高分辨率图像块对进行联合训练，构造低分辨率和高分辨率图像块的字典对；S3：输入低分辨率的测试图像，插值放大到目标尺寸，使用冲击滤波对插值后的图像进行处理，并提取滤波后的图像的边缘；S4：使用训练的字典对对边缘图像进行稀疏表示，构造出高质量边缘；S5：在高质量边缘信息的引导下，使用改进的联合双边滤波器对低分辨率测试图像进行插值重建，从而得到期望的高分辨深度图像。2.如权利要求1所述的基于高质量边缘信息引导的深度图像超分辨重建的方法，其特征在于，在步骤S1中，采用以下步骤得到高分辨和低分辨率图像块对：1)对输入的一组高分辨率示例图像进行下采样，得到一组低分辨率图像2)对每张低分辨率图像用双立方插值算子进行插值放大到与原始高分辨率图像同样尺寸的图像3)使用移除高分辨率示例图像中的高频信息，使用高通滤波器对相应的低分辨率图片...

【专利技术属性】
技术研发人员：周东生，王如意，卢健，张强，魏小鹏，
申请(专利权)人：大连大学，
类型：发明
国别省市：辽宁,21