一种基于深度卷积神经网络的深度图完善方法技术

本发明专利技术公开了一种基于深度卷积神经网络的深度图完善方法，包括步骤：1)将训练数据中的深度图片和RGB图片提取样本和标签，并提取正方形图片块；2)对训练数据提取出的正方形图片块样本进行数据增强，包括旋转、扭曲操作；3)将增强后的训练数据通过深度卷积神经网络进行训练；4)将需要处理的深度图和RGB图片通过预处理；5)将预处理过的深度图和RGB通过训练过的神经网络对深度进行完善。本发明专利技术方法充分利用了RGB图片中结构信息，左右深度的相互的关系，通过神经卷积神经网络强大的特征提取能力，解决了设备采集的深度图质量不高问题，从而更好地应用于工业和生活领域。

A depth map perfect method based on deep convolution neural network

The invention discloses a depth map improvement method based on depth convolution neural network, which includes steps: 1) extracting samples and labels from depth images and RGB images in training data, and extracting square image blocks; 2) data enhancement of square image block samples extracted from training data, including rotation and distortion operations. (3) The enhanced training data are trained by deep convolution neural network; (4) the depth maps and RGB images that need to be processed are preprocessed; and (5) the depth maps and RGB images that need to be processed are perfected by the trained neural network. The method of the invention makes full use of the structure information in RGB pictures and the relationship between left and right depths, solves the problem of low quality of depth maps collected by equipment through the powerful feature extraction ability of neural convolution neural network, and thus is better applied in industrial and life fields.

【技术实现步骤摘要】
一种基于深度卷积神经网络的深度图完善方法
本专利技术涉及无人驾驶和深度重建的
，尤其是指一种基于深度卷积神经网络的深度图完善方法。
技术介绍
随着科技的发展，深度摄像机逐渐步入人们的生活。普通的摄像机能够捕捉可见光并成像于平面的图片上，其中每个像素点的值是红绿蓝三种光的分量；而深度相机拍摄的图片每个像素点的值则是该点的距离相机拍摄平面的距离。无论工业还是娱乐行业，对高质量的深度图的使用和需求已经越来越多。在工业领域，深度图是无人车，无人机导航系统的必要输入，没有它就不能感知周围环境；在机器人领域，深度图能对机器人，机械臂的操作提供定位指导；在智能家居中，关于手势的人机交互方式会逐渐取缔传统的按键交互方式；在游戏中，体感游戏，虚拟现实，增强现实，都需要深度摄像机采集的深度图片。可以说总有一天，深度摄像机会像可见光摄像机那样成为标配。目前市面上的深度摄像机大致可分为两种。一种是基于红外光的，例如Kinect，Kinect2，LeapMotion，RealSense等等，其中又可以细分为基于编码光和TOF技术的。另一种是基于双目匹配的，其原理类似人眼的双目视觉成像，能够从两张关于同一景物的可见光图片中得到深度图。可是无论是哪种方法，都有严重的缺点。基于红外光的深度摄像机只能在室内环境具有实用性，在室外环境噪声过大将导致设备不能使用，即使是在室内环境下，噪声也是一个问题。而基于双目匹配的深度摄像机由于双目相机遮挡的原因，会出现一些区域的深度不可求情况。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于深度卷积神经网络的深度图完善方法，将深度图和RGB图片结合起来，通过深度学习的特诊提取能力，根据RGB图片区别出图片中连续平滑区域和陡峭边缘区域，以此来引导深度图的平滑和完善，解决了设备采集的深度图质量不高问题，从而更好地应用于工业和生活领域。实现上述目的，本专利技术所提供的技术方案为：一种基于深度卷积神经网络的深度图完善方法，包括以下步骤：1)将训练数据中的深度图片和RGB图片提取样本和标签，并提取正方形图片块；2)对训练数据提取出的正方形图片块样本进行数据增强，包括旋转、扭曲操作；3)将增强后的训练数据通过深度卷积神经网络进行训练；4)将需要处理的深度图和RGB图片通过预处理；5)将预处理过的深度图和RGB通过训练过的神经网络对深度进行完善。在步骤1)中，为了提高深度卷积神经网络的训练效率，需将已知确切且边缘完善的训练标签深度图、RGB图和待完善的深度图做成大小固定的正方形图片块，这样的处理不会影响神经网络的学习效果。在步骤2)中，对RGB图、待完善深度图、训练标签深度图进行同一力度的多种变换，包括旋转角度、放大或缩小尺度、翻转，这样做能够提高鲁棒性，避免过拟合。在步骤3)中，构造神经网络并训练，对于基于红外光的深度相机，RGB和待完善的深度图只有一组，所以网络的训练输入包括一组RGB的正方形图片块和待完善深度图的正方形图片块，标签是完善过的正方形图片块，将输入数据通过特征提取卷积层提取出丰富的特征，再经过多尺度感知域残差网络进行特征筛选，最后采用MSE作为代价函数；对于双目匹配结构的深度摄像机，RGB和depth各自有左右两组，输入为左右两组的RGB矩形图片块和待完善深度图的矩形图片块，标签为左图或者右图的完善后的深度图，将输入数据通过特征提取卷积层提取出丰富的特征，再经过多尺度感知域残差网络进行特征筛选，最后采用MSE作为代价函数；而后再采用反向传播训练神经网络；其中，所述多尺度感知域残差网络是一种神经网络子模块，模块的输入是矩形图片块，用不同大小的卷积核对其进行卷积，并根据响应的卷积核大小对图片进行边缘填充以使得卷积得到的特征尺度一致，然后再将这些特征矩阵按通道叠加或平均，同时，将模块的输入直接级联到模块的输出。在步骤4)中，在使用网络时不再需要有已经完善的深度图，输入为待完善的深度图和RGB图，将待完善的深度图和RGB图做相同的预处理，将图片的像素值归一化道0到1之间。在步骤5)中，将处理过的待完善的深度图和RGB图片正向传播通过训练过的神经网络，得到完善后的深度图。本专利技术与现有技术相比，具有如下优点与有益效果：1、本专利技术首次实现了基于深度学习的RGB图片引导深度图的完善功能，突破传统方法导致深度图边缘模糊、信息丢失、精度低的技术缺点。2、本专利技术利用多尺度感知域残差网络让神经网络更容易训练。3、本专利技术首次实现了基于深度学习的双目匹配深度相机的左右深度图检查功能，结合了左右深度和RGB的信息。突破了传统方法过于简单，不能利用全局信息、仅仅使用左右深度图进行深度完善的缺点。4、本专利技术首次实现了基于深度学习的双目匹配深度相机的深度图遮挡完善功能，解决了双目匹配相机由于视角遮挡问题造成的深度图缺失问题。5、本专利技术使用方法简单，速度快，在工业，机器人，娱乐等方面具有广泛的应用。附图说明图1为本专利技术对于红外光深度相机的深度网络结构图。图2为多尺度感知域残差网络结构图。图3为本专利技术对于双目匹配深度相机的深度网络结构图。具体实施方式下面结合具体实施例对本专利技术作进一步说明。本实施例所提供的基于深度卷积神经网络的深度图完善方法，其具体情况如下：1)获取输入数据并增强获得训练数据，获得网上的同时具有深度图的数据集如SUN3D，Middlebury数据集等。为了提高深度学习网络的普适性，防止过拟合，对得到的数据进行数据增强操作。对于同组中的图片，包括待完善深度图，RGB图和已经完善的深度图。对这三张图片采用相同的随机变换，如缩放尺度，小角度旋转，增强图片明暗等操作，然后将图片的RGB，depth归一化到0到1之间。2)将完整的图片转换为正方形图片块或矩形图片块对于基于红外光的深度相机，将完整的图片分割成正方形的正方形图片块组，每个正方形图片块的中心点位置相同，正方形图片块的大小相同，每个组的输入包括一个RGB正方形图片块，一个待完善深度图正方形图片块，输出包括完善之后的深度图正方形图片块。对于基双目匹配结构的深度相机，将完整的图片分割成长条形的矩形图片块，每个矩形图片块的水平中心位置相同。将完整图片分割成正方形图片块或者矩形图片块训练可以加快网络的训练速度。3)深度卷积神经网络的训练3.1)对于基于红外光得深度相机，网络的结构如图1所示。对每一组数据，我们先将数据正向传播通过网络，RGB的正方形图片块和待完善的深度图正方向图片块通过各自的特征提取网络，通过深度卷积网络提取丰富的特征；然后将RGB和待完善深度图通过特征提取网络的输出经过多尺度感知域残差网络，对提取的特征进行筛选；所述多尺度感知域残差网络是一种神经网络子模块，模块的输入时矩形图片块，用不同大小的卷积核(如3×3,5×5,9×9,11×11等等尺寸)对其进行卷积，并根据响应的卷积核大小对图片进行边缘填充以使得卷积得到的特征尺度一致，然后将这些特征矩阵按通道叠加或平均，同时，将模块的输入直接级联到模块的输出，可以采用按通道叠加或者直接相加的方式，多尺度感知域残差网络的结构如图2所示。因为深度图的完善不仅需要小尺度上的细节信息，也需要大尺度上的结构信息，多尺度感知域所以有更好的效果，同时，残差训练的方法可以使得训练更加准确。然后将筛选后的本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的深度图完善方法，其特征在于，包括以下步骤：1)将训练数据中的深度图片和RGB图片提取样本和标签，并提取正方形图片块；2)对训练数据提取出的正方形图片块样本进行数据增强，包括旋转、扭曲操作；3)将增强后的训练数据通过深度卷积神经网络进行训练；4)将需要处理的深度图和RGB图片通过预处理；5)将预处理过的深度图和RGB通过训练过的神经网络对深度进行完善。

【技术特征摘要】
1.一种基于深度卷积神经网络的深度图完善方法，其特征在于，包括以下步骤：1)将训练数据中的深度图片和RGB图片提取样本和标签，并提取正方形图片块；2)对训练数据提取出的正方形图片块样本进行数据增强，包括旋转、扭曲操作；3)将增强后的训练数据通过深度卷积神经网络进行训练；4)将需要处理的深度图和RGB图片通过预处理；5)将预处理过的深度图和RGB通过训练过的神经网络对深度进行完善。2.根据权利要求1所述的一种基于深度卷积神经网络的深度图完善方法，其特征在于：在步骤3)中，构造神经网络并训练，对于基于红外光的深度相机，RGB和待完善的深度图只有一组，所以网络的训练输入包括一组RGB的正方形图片块和待完善深度图的正方形图片块，标签是完善过的正方形图片块，将输入数据通过特征提取卷积层提取出丰富的特征，再经过多尺度感知域残差网络进行特征筛选，最后采用MSE作为代价函数；对于双目匹配结构...

【专利技术属性】
技术研发人员：袁书聪，青春美，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44