一种基于深度神经网络的多信息融合的场景深度恢复方法技术

本发明专利技术为一种基于深度神经网络的多信息融合的场景深度恢复方法，属于图像处理领域。该方法采用深度卷积网络预测深度图像边界，并使用求得的边界进行指导插值求得高质量深度图。使用彩色图像辅助图像边界预测，能更好的预测在低分辨率的深度图像上不明显的边界，彩色图像辅助插值能够使得到的深度图像符合实际场景的空间结构。方法程序简单，易于实现。根据预测的边界对深度图像分块求深度信息，计算速度快，避免不同区域的深度信息的干扰，精确度高，求得的高分辨率深度图像清晰，边界锋利。

A method of scene recovery based on deep neural network and multi information fusion

The invention relates to a scene depth recovery method based on multi-information fusion of depth neural network, belonging to the field of image processing. In this method, the depth convolution network is used to predict the depth image boundary, and the obtained boundary is used to guide the interpolation to obtain high quality depth map. Color image aided edge prediction can better predict the edges that are not obvious in low resolution depth images. Color image aided interpolation can make the depth images conform to the spatial structure of the actual scene. The method is simple and easy to implement. Depth information is obtained by dividing the predicted edges into blocks, which is fast in calculation, avoids the interference of depth information in different regions, and has high accuracy. The high-resolution depth images obtained are clear and sharp in boundary.

【技术实现步骤摘要】
一种基于深度神经网络的多信息融合的场景深度恢复方法
本专利技术属于图像处理领域，涉及采用深度卷积网络预测深度图像边界，并使用边界指导进行插值以求得高质量深度图，具体涉及一种基于深度神经网络的多信息融合的场景深度恢复方法。场景深度对于自然场景理解十分重要，广泛用于三维(3D)建模，可视化以及自动驾驶等；然而实际场景的复杂性以及图像传感器的限制，获取的场景深度信息的准确性以及分辨率都不足以应用到实际场景。例如当前微软的第二代Kinect(Kinect2)采集的深度图像的分辨率仅为512×424，而对应的彩色图像的分辨率为1920×1080。一般实际使用采集到的深度信息需要将获取的深度信息提升分辨率。通常，恢复高分辨率的场景深度图像的一个方法是使用对应的彩色图像辅助进行双边插值进行深度图像的恢复。一些现有方法根据彩色图像和深度图像的纹理对应的性质设计了能量函数(J.Yang,X.Ye,K.Li,C.Hou,andY.Wang,“Color-guideddepthrecoveryfromRGBDdatausinganadaptiveautoregressivemodel.”IEEETIP,vol.23,no.8,pp.3443–3458,2014)，通过优化能量函数使恢复的深度图像既满足值大小的分布和小分辨率的图像分布相同，又满足纹理上的相容性。一些方法构建边界字典存储小分辨率的深度图的纹理和高分辨率的深度图的纹理对应关系(JunXie,R.S.Feris,andMingTingSun,“Edge-guidedsingledepthimagesuperresolution,”IEEETransactionsonImageProcessing,vol.25,no.1,pp.428,2016)，从而根据字典搜索求得大分辨率的深度图像的边界，然后指导深度图像的插值。但是这种方法的得到的边界不够平滑，而且没有使用彩色图像的信息，所以图像质量不高。彩色图像提供了高分辨率的场景信息，可以为场景深度的恢复提供丰富的纹理信息。场景深度相对于实际场景纹理信息较少。深度信息恢复的难点在于边界纹理的恢复。基于此，通过深度学习，可以设计一个融合彩色图像信息和深度图像信息的预测比较平滑的边界的网络，并且使用预测到的边界结合彩色图像恢复场景深度图像。
技术实现思路
本专利技术旨在克服现有技术的不足，一种基于深度神经网络的多信息融合的场景深度恢复方法。经观察，场景深度图像的纹理结构相比于彩色图像纹理较为简单，恢复精确的边界问题为深度图像恢复的难点。基于此，本方法使用深度学习的方法设计了融合彩色图像和深度图像的预测平滑的边界的网络，并使用预测出的边界结合彩色图像恢复场景深度图像。本专利技术的技术方案为，一种基于深度神经网络的多信息融合的场景深度恢复方法，所述方法包括下列步骤：第一步，准备训练数据；训练数据包括高分辨率的彩色图像，低分辨率的深度图像，高分辨率的深度图像对应的边界图像。第二步，搭建边界预测网络，输入的彩色图像经过一次卷积和一个包括两个卷积的残差结构，得到彩色分支的特征图；输入的深度图像使用反卷积操作实现两次上采样，分辨率和彩色图像分辨率一样大小，每次反卷积之前经过3次卷积，其中，后两次卷积使用残差网络的结构利于网络收敛；融合高分辨率的彩色图像的特征图之后，预测得到对应于高分辨率深度图像的边界图像；第三步，构建损失函数并训练网络；损失函数衡量训练数据上由彩色图像I和低分辨率深度图Dl预测的边界结果E和真实提取的边界Egt的差距。其中，表示网络推断过程。表示2范数的平方。网络训练过程即是在训练数据不断优化网络参数w使收敛得到最终的第四步，预测低分辨率的深度图对应的高分辨率的场景深度图像的边界。根据测试集上的彩色图像I和低分辨率深度图Dl，经过已训练的网络得到边界第五步，根据彩色图像I和低分辨率深度图Dl进行分区域插值或拷贝得到高分辨率深度图Dh：5-1)对预测的边界进行膨胀，得到平滑区域和边界区域，平滑区域直接进行深度值的拷贝得到平滑区域的深度图Dsmooth；5-2)对边界区域进行插值得到边界区域的深度图Dedge：5-2-1)对彩色图像上的相邻像素x，y之间计算高斯空间距离d：d＝Gσ(Ix-Iy)σ为高斯函数的参数，取值为0.5。d的值越大表明两个像素之间相似性越大。Ix和Iy分别表示彩色图像上x和y处的彩色值。5-2-2)判断相邻像素x，y是否处于深度图像边界的两侧，用公式表示为1(x,y；E)，表示x，y是否在E中处于边界的一侧，其中，1(·)用于判断为当前情况是否成立，成立为1反之则为0。5-2-3)根据以上判断，进行逐点插值。方程如下：其中，和分别表示高分辨率深度图在x处和低分辨率深度图在y处的取值，K为归一化因子。表示在x周围的低分辨率图像上的点集合。5-3)将上两步的结果融合一块得到最终深度结果Dh＝Dsmooth+Dedge。本专利技术的有益效果是：本专利技术基于低分辨率深度图像主要在边界区域模糊的先验知识，通过网络预测高分辨率深度图像的边界，进而使用插值算法，得到高质量深度图像，具有以下特点：1、程序简单，易于实现，能够获得高质量的深度图像；2、本方法将场景深度图像恢复分为两步，首先通过网络预测高分辨率的深度图像的边界，然后，结合边界和彩色高分辨率图像进行插值；3、算法使用深度学习网络预测深度图像边界，平滑清晰，结合彩色图像邻域插值，得到的深度图像清晰，边界锋利。附图说明图1是实施流程图，以四倍(4×)下采样的低分辨率深度图像块为例。图2是初始数据。其中：(a)低质量深度图(b)高分辨率彩色图图3是相邻的像素点处于边的两侧或同侧的情况，其中(a)图为x，y处于边界的同侧，(b)(c)图表明x，y处于边界的两侧。图4是两组数据的恢复结果以及与其他方法的比较，其中：(a)图为彩色-深度标准数据集，(b)联合滤波结果(YijunLi,JiaBinHuang,NarendraAhuja,andMingHsuanYang,“Deepjointimagefiltering,”inProc.ECCV,2016.)，(c)本专利技术的结果。具体实施方式下面结合实施例和附图对本专利技术的基于深度神经网络的多信息融合的场景深度恢复方法做出详细说明。一种基于深度神经网络的多信息融合的场景深度恢复方法，如图1所示，所述方法(以4×为例)包括下列步骤：第一步，准备初始数据；初始数据包括低分辨率深度图和同视角的高分辨率彩色图，其中一组数据如图2所示。为训练网络，数据集使用Middlebury官方数据(http://vision.middlebury.edu)，其中38个彩色-深度图像对用于训练，6个彩色-深度图像用于测试。对于训练数据，从训练图像中以步幅为10像素截取15×15的深度图像块。对应的彩色图像步幅为40像素，图像块大小为60×60，最终形成13860个图像对用于训练。第二步，搭建边界预测网络，如图1所示，左半部分为网络结构图。输入的彩色图像经过一次卷积和一个包括两个卷积的残差结构，得到彩色分支的特征图。输入的深度图像使用两次上采样操作之后，分辨率和彩色图像分辨率一样大小，每次上采样之前经过一次卷积和一个包括两个卷积的残差结构。残差网络的结构本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的多信息融合的场景深度恢复方法，其特征在于，包括如下步骤：第一步，准备训练数据，包括高分辨率的彩色图像、低分辨率的深度图像和高分辨率的深度图像对应的边界图像；第二步，搭建边界预测网络，输入的彩色图像经过一次卷积和一个包括两个卷积的残差结构，得到彩色分支的特征图；输入的深度图像使用反卷积操作实现两次上采样，分辨率和彩色图像分辨率一样大小，每次反卷积之前经过3次卷积，其中，后两次卷积使用残差网络的结构；融合高分辨率的彩色图像的特征图之后，预测得到对应于高分辨率深度图像的边界图像；第三步，构建损失函数并训练网络；损失函数

【技术特征摘要】
1.一种基于深度神经网络的多信息融合的场景深度恢复方法，其特征在于，包括如下步骤：第一步，准备训练数据，包括高分辨率的彩色图像、低分辨率的深度图像和高分辨率的深度图像对应的边界图像；第二步，搭建边界预测网络，输入的彩色图像经过一次卷积和一个包括两个卷积的残差结构，得到彩色分支的特征图；输入的深度图像使用反卷积操作实现两次上采样，分辨率和彩色图像分辨率一样大小，每次反卷积之前经过3次卷积，其中，后两次卷积使用残差网络的结构；融合高分辨率的彩色图像的特征图之后，预测得到对应于高分辨率深度图像的边界图像；第三步，构建损失函数并训练网络；损失函数衡量训练数据上由彩色图像I和低分辨率深度图Dl预测的边界结果E和真实提取的边界Egt的差距；其中，表示网络推断过程；表示2范数；网络训练过程即是在训练数据不断优化网络参数w使收敛得到最终的第四步，预测低分辨率的深度图对应的高分辨率的场景深度图像的边界；根据测试集上的彩色图像I和低分辨率深度图Dl，经过网络得到边界第五步，根据彩色图像I和低分辨率深度图Dl进行分区域插值或拷贝得到高分辨率深度图Dh。2.根据权利要求1所述的一种基于深度神经网络的多信息融合的场景深度恢复方法：，其特征在于：第五步，根据彩色...

【专利技术属性】
技术研发人员：叶昕辰，段祥越，严倩羽，李豪杰，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21