基于深度学习的深度图超分辨率方法技术

本发明专利技术属于计算机图像处理领域，为提出一种利用对应的高分辨率的彩色图像，可以有效对深度图进行超分辨率，获得锐利的深度图边缘的方法。为此，本发明专利技术采取的技术方案是，基于深度学习的深度图超分辨率方法，包括下列步骤：1)从公共数据集中选取一定数量的纹理丰富的深度图和与之对应的彩色图；2)数据增强；3)将得到的深度彩色图像对进行数据预处理；4)设计深度卷积神经网络结构；5)用预处理好的数据集训练所设计的卷积神经网路，训练好卷积神经网络后，将低分辨率的深度图和对应的彩色图输入到训练好的网络中，在输出层输出完成超分辨率后的深度图。本发明专利技术主要应用于图像处理。

Depth map super-resolution method based on deep learning

The invention belongs to the field of computer image processing. In order to present a method for obtaining sharp edges of depth maps by super-resolution of depth maps with corresponding high-resolution color images. To this end, the present invention adopts a depth map super-resolution method based on depth learning, which includes the following steps: 1) selecting a certain number of texture-rich depth maps and corresponding color maps from a common data set; 2) data enhancement; 3) preprocessing the obtained depth color images; 4) designing the depth color images; Deep convolution neural network structure; 5) The convolution neural network is trained with the preprocessed data set. After training the convolution neural network, the low-resolution depth map and the corresponding color map are input into the trained network, and the super-resolution depth map is output in the output layer. The invention is mainly applied to image processing.

【技术实现步骤摘要】
基于深度学习的深度图超分辨率方法
本专利技术属于计算机图像处理领域，具体涉及一种基于卷积神经网络的利用深度彩色图像对的深度图超分辨率方法。
技术介绍
深度信息是三维目标视觉感知的一个重要信息，在自动驾驶，人机交互，三维场景重建及虚拟现实等方面的应用都依赖于高性能高质量的深度图。但是，目前的消费级的深度相机，包括微软的Kinect，华硕的XtionPro以及其它基于飞行时间法(timeofflight,TOF)技术的TOF相机，由于硬件条件的限制，获得的深度图像分辨率都非常低，远远低于彩色图像的分辨率。这在实际应用中带来很大的限制，因此，为了更有效地利用深度信息数据，深度图的超分辨率方法发挥着重要的作用。传统的深度图超分辨率方法包括局部滤波的方法，空域正则项方法和字典学习的方法。用以上方法获取的高分辨率的深度图过程中，一部分方法存在着计算复杂度大，需要很长的计算时间的问题，一部分方法也存在着在一些情况下结果会出现人工痕迹，效果不理想的问题。随着卷积神经网络的出现和迅速推广，卷积神经网络在图像处理领域有了广泛的应用和快速的发展，深度图超分辨率的方法也因为引入卷积神经网络而获得了很大的提升。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种利用对应的高分辨率的彩色图像，可以有效对深度图进行超分辨率，获得锐利的深度图边缘的方法。为此，本专利技术采取的技术方案是，基于深度学习的深度图超分辨率方法，包括下列步骤：1)从公共数据集中选取一定数量的纹理丰富的深度图和与之对应的彩色图，将每对深度彩色图像命名一致；2)数据增强：将每一对图片都进行旋转90°，180°和270°的操作，图片数量增大为原来的4倍；3)将得到的深度彩色图像对进行数据预处理：首先将深度图进行下采样后，再利用双三次插值方法将图像恢复到原来大小的尺寸，得到低分辨率的深度图；其中，需要将图片裁剪成128×128的小块，裁剪过程中步长设定为100，分别对原深度图，彩色图和低分辨率的深度图进行裁剪，三种类型的图像块命名都一一对应；其中从彩色图和低分辨率的深度图裁剪出来的图像块作为训练卷积神经网络的输入数据，从原深度图裁剪出来的图像块作为训练卷积神经网络的数据标签，也就是真值；特别的，对彩色图做相关处理，即利用Canny边缘检测算子获取低分辨率的深度图的边缘区域，利用高斯核模糊平滑这些区域的边缘以后，只保留对应的彩色图的这些区域的内容；用Ih表示由高分辨率彩色图得到的灰度图，先将彩色图进行预处理的操作得到边缘引导图Eh。利用Canny边缘检测算子，从低分辨率深度图Dl中获取其中的边缘位置，也就是对应高分辨率彩色图中有用的信息的位置，由于用Canny边缘检测算子得到的边缘信息宽度只有一个像素，因此卷积上一个高斯模糊核扩宽边缘区域，接下来进行二值化的操作，将之前的值为1的区域的宽度由1个像素值扩大为带状，为了避免引入新的边界，再次卷积一个高斯模糊核将边缘区域的边界模糊化，将高分辨率强度图Ih与边缘区域相对应的位置的值相乘，将多余的信息滤除掉；4)设计深度卷积神经网络结构：网络结构为两路，将网络设计成全卷积形式，每个卷积层的步长都设为1，这样网络的输入、每一层的特征图以及输出都保持尺寸一致；卷积神经网络在高分辨率彩色图的引导下，学习低分辨率深度图和高分辨率深度图之间一个端到端的映射，该映射表示为：Dh＝F(Dl,Gh,{W,b})+Dl(2)其中，Dh表示高分辨率深度图，Dl表示低分辨率深度图，Gh表示用来做引导的由对应的高分辨率彩色图得到的强度图，F(·)代表要学习的映射，W和b分别表示卷积神经网络中的权重和偏置，具体的，该网络可以分为三个部分：特征提取部分、映射和融合部分、重建部分；训练该网络的时候使用的损失函数为均方差函数，表示如下：其中，Θ＝(W,b)表示的是网络中的参数，代表的是高分辨率深度图的真值。训练过程中，用随机梯度下降的方法来最小化损失函数；5)用预处理好的数据集训练所设计的卷积神经网路，训练好卷积神经网络后，将低分辨率的深度图和对应的彩色图输入到训练好的网络中，在输出层输出完成超分辨率后的深度图。步骤3)将得到的深度彩色图像对进行数据预处理中，为了避免图中包含太多值为0的像素点，造成能量太低，再将所有值为0的像素值正则化为128，具体过程表示为：其中，G表示的是高斯卷积核，表示的是直积操作，T(·)表示的是二值化操作，其阈值为图像的最大值的0.1。步骤4)中具体地：41)特征提取部分：此部分为神经网络的输入部分。神经网络的输入为双三次插值方法得到的与目标尺寸相同的低分辨率深度图Dl和对应的高分辨率彩色图得到的强度图Gh，在提出的网络中，两个分支的第一层分别将输入的Dl和Gh分解成一组特征图，该过程用公式表示为：F1(Y)＝σ(W1*Y+b1)(3)其中，*表示卷积操作，Y表示Dl或者Gh，σ表示激活函数，网络中应用的是纠正线性单元ReLU(RectifiedLinearUnit)激活函数，这样能获得很好的结果，同时能够获得更快的收敛速度；42)映射和融合部分：网络中的主分支上的每一层在引导分支上都有一个相对应的层，为了充分利用Gh和Dh之间的关联信息，把这些相对应的层在网络中都合并起来，并且是每一级都建立这样的连接，这样就有足够的空间可以把高分辨率彩色图的有用信息融合进来，这一部分表示为：其中，k＝{1,2,3,...,9}，也就是说，网络中包含9对这样的连接；43)重建部分：经过前面的部分可以得到一些列的Dl和Gh的特征图，同时这些特征图随着网络的深度逐渐地融合，重建部分将这些特征图结合起来，恢复出低分辨率深度图Dl和高分辨率深度图Dh之间的残差信息，将得到的残差信息加到Dl上，就可以得到输出Dh，重建部分表示为：Dh＝σ(Wr*Fr-1+br)+Dl(5)其中，r＝10。本专利技术的技术特点及效果：本专利技术方法针对深度相机获取的深度图分辨率较低的问题，利用对应的高分辨率的彩色图，通过训练一个设计好的全卷积的深度卷积神经网络，解决了深度图的超分辨率问题，具有以下特点：1、本专利技术设计的卷积神经网络为两路结构，利用与深度图对应的高分辨率彩色图的信息，能够得到边缘锐利的高分辨率深度图。2、本专利技术设计的卷积神经网络为全卷积结构。训练好网络后，输入到网路中的低分辨率深度图可以为任意尺寸，即可以将整张图直接输入到训练好的网络中输出得到高分辨率深度图，而不需要将图像裁剪按块进行超分辨率操作。3、本专利技术可以利用GPU进行加速计算，完成深度图超分辨率的用时极短。4、本专利技术对各种不同的深度图的超分辨率都有较好的结果，具有一定的普适性。附图说明图1是步骤流程图；图2是设计的深度卷积神经网络的网络结构图；图3是对高分辨率彩色图像的预处理过程；图4是用4倍超分辨率时的峰值信噪比作为评价标准来比较分别用和作引导训练神经网络时的收敛速度；图5、图6是输出结果对比图，左边是彩色图像和参考标准，(a)是广义总变差(TGV)方法，(b)是联合强度和深度(JID)方法，(c)是本专利技术中使用高分辨率强度图Ih的结果，(d)是本专利技术中使用高分辨率边缘引导图Eh的结果。具体实施方式为了解决现有技术的缺陷，本专利技术提供了一种基于深度学习的深度图超分辨率方法，本专利技术采用的技术方案是：1)参本文档来自技高网...

【技术保护点】
1.一种基于深度学习的深度图超分辨率方法，其特征是，包括下列步骤：1)从公共数据集中选取一定数量的纹理丰富的深度图和与之对应的彩色图，将每对深度彩色图像命名一致；2)数据增强：将每一对图片都进行旋转90°，180°和270°的操作，图片数量增大为原来的4倍；3)将得到的深度彩色图像对进行数据预处理：首先将深度图进行下采样后，再利用双三次插值方法将图像恢复到原来大小的尺寸，得到低分辨率的深度图；其中，需要将图片裁剪成128×128的小块，裁剪过程中步长设定为100，分别对原深度图，彩色图和低分辨率的深度图进行裁剪，三种类型的图像块命名都一一对应；其中从彩色图和低分辨率的深度图裁剪出来的图像块作为训练卷积神经网络的输入数据，从原深度图裁剪出来的图像块作为训练卷积神经网络的数据标签，也就是真值；特别的，对彩色图做相关处理，即利用Canny边缘检测算子获取低分辨率的深度图的边缘区域，利用高斯核模糊平滑这些区域的边缘以后，只保留对应的彩色图的这些区域的内容；用Ih表示由高分辨率彩色图得到的灰度图，先将彩色图进行预处理的操作得到边缘引导图Eh。利用Canny边缘检测算子，从低分辨率深度图Dl中获取其中的边缘位置，也就是对应高分辨率彩色图中有用的信息的位置，由于用Canny边缘检测算子得到的边缘信息宽度只有一个像素，因此卷积上一个高斯模糊核扩宽边缘区域，接下来进行二值化的操作，将之前的值为1的区域的宽度由1个像素值扩大为带状，为了避免引入新的边界，再次卷积一个高斯模糊核将边缘区域的边界模糊化，将高分辨率强度图Ih与边缘区域相对应的位置的值相乘，将多余的信息滤除掉；4)设计深度卷积神经网络结构：网络结构为两路，将网络设计成全卷积形式，每个卷积层的步长都设为1，这样网络的输入、每一层的特征图以及输出都保持尺寸一致；卷积神经网络在高分辨率彩色图的引导下，学习低分辨率深度图和高分辨率深度图之间一个端到端的映射，该映射表示为：Dh＝F(Dl,Gh,{W,b})+Dl  (2)其中，Dh表示高分辨率深度图，Dl表示低分辨率深度图，Gh表示用来做引导的由对应的高分辨率彩色图得到的强度图，F(·)代表要学习的映射，W和b分别表示卷积神经网络中的权重和偏置，具体的，该网络可以分为三个部分：特征提取部分、映射和融合部分、重建部分；训练该网络的时候使用的损失函数为均方差函数，表示如下：...

【技术特征摘要】
1.一种基于深度学习的深度图超分辨率方法，其特征是，包括下列步骤：1)从公共数据集中选取一定数量的纹理丰富的深度图和与之对应的彩色图，将每对深度彩色图像命名一致；2)数据增强：将每一对图片都进行旋转90°，180°和270°的操作，图片数量增大为原来的4倍；3)将得到的深度彩色图像对进行数据预处理：首先将深度图进行下采样后，再利用双三次插值方法将图像恢复到原来大小的尺寸，得到低分辨率的深度图；其中，需要将图片裁剪成128×128的小块，裁剪过程中步长设定为100，分别对原深度图，彩色图和低分辨率的深度图进行裁剪，三种类型的图像块命名都一一对应；其中从彩色图和低分辨率的深度图裁剪出来的图像块作为训练卷积神经网络的输入数据，从原深度图裁剪出来的图像块作为训练卷积神经网络的数据标签，也就是真值；特别的，对彩色图做相关处理，即利用Canny边缘检测算子获取低分辨率的深度图的边缘区域，利用高斯核模糊平滑这些区域的边缘以后，只保留对应的彩色图的这些区域的内容；用Ih表示由高分辨率彩色图得到的灰度图，先将彩色图进行预处理的操作得到边缘引导图Eh。利用Canny边缘检测算子，从低分辨率深度图Dl中获取其中的边缘位置，也就是对应高分辨率彩色图中有用的信息的位置，由于用Canny边缘检测算子得到的边缘信息宽度只有一个像素，因此卷积上一个高斯模糊核扩宽边缘区域，接下来进行二值化的操作，将之前的值为1的区域的宽度由1个像素值扩大为带状，为了避免引入新的边界，再次卷积一个高斯模糊核将边缘区域的边界模糊化，将高分辨率强度图Ih与边缘区域相对应的位置的值相乘，将多余的信息滤除掉；4)设计深度卷积神经网络结构：网络结构为两路，将网络设计成全卷积形式，每个卷积层的步长都设为1，这样网络的输入、每一层的特征图以及输出都保持尺寸一致；卷积神经网络在高分辨率彩色图的引导下，学习低分辨率深度图和高分辨率深度图之间一个端到端的映射，该映射表示为：Dh＝F(Dl,Gh,{W,b})+Dl(2)其中，Dh表示高分辨率深度图，Dl表示低分辨率深度图，Gh表示用来做引导的由对应的高分辨率彩色图得到的强度图，F(·)代表要学习的映射，W和b分别表示卷积神经网络中的权重和偏置，具体的，该网络可以分为三个部分：特征提取部分、...

【专利技术属性】
技术研发人员：杨敬钰，蓝浩，宋晓林，李坤，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12