一种结合梯度和纹理特征的单目图像深度估计方法技术

本发明专利技术公开了一种结合梯度和纹理特征的单目图像深度估计方法。本发明专利技术包含以下步骤：步骤1：预训练目标高维特征，设计训练编码深度高维特征，并解码成原输入深度图的模型结构；步骤2：提取单目图像的附加图像特征；附加特征主要是针对图像提取相应的纹理特征和梯度特征；步骤3：构造训练高维特征学习的编码器；步骤4：将训练完成的高维特征输入到步骤1训练练完成的解码器中，进行解码得到我们最后的深度输出图。本发明专利技术采取函数关系和图像存在的深度线索相结合的方式，弥补图像中实例的细节层面的深度信息缺失的问题。本发明专利技术把图像的梯度信息和纹理信息作为深度线索，协助深度卷积网络学习图像的深度信息。

A depth estimation method of monocular image based on gradient and texture features

【技术实现步骤摘要】
一种结合梯度和纹理特征的单目图像深度估计方法
本专利技术涉及计算机视觉图像处理领域，特别涉及一种结合梯度和纹理特征的单目图像深度估计方法。
技术介绍
图像深度估计指的是根据二维图像中恢复出现实场景的深度信息，其在场景理解、三维重建、自动驾驶等领域有着重要作用。由于普通相机拍摄的图片只记录了场景的二维信息，缺乏对场景的深度表示，因此如何恢复二维图像的深度信息成为了计算机视觉领域的一项重要任务。当前获取图像深度信息的方法主要有基于多相机视差、基于运动恢复结构和利用深度相机等方式。基于多相机视差的深度估计方法需要在场景中布置多台相机，每台相机同时记录场景点的角度和位置信息，利用各视角图像中的匹配点计算出相机的视差并恢复场景的深度信息。对于基于运动恢复结构的深度估计方法，其利用移动的单目相机对场景进行记录，仅仅通过比较视频各帧之间的差异来恢复深度信息，并不能很好地收集完整且全面的图像信息，因此无法对单幅图像进行深度重建。此外，当前存在的消费级深度相机由于对环境光照敏感，计算复杂度高等原因无法在现实中的各类场景下使用。基于单目图像的深度只利用一个视点的图像进行估计，深度线索的缺乏,使得估计问题难度加大，为此人们进行了大量的先前工作，大致包括基于深度线索的深度估计方式、基于机器学习的方式以及基于深度学习的深度估计方式。常用的深度线索包括遮挡、法线、语义信息等，通常利用对应的深度线索与深度之间的关联从而来计算深度，通常能恢复较高精度的场景深度信息，对于深度估计有很大帮助，但同时这种方法也存在巨大缺陷：其受制于场景条件和设备条件，并且需要求解设备的内外参数这些问题都会影响深度估计速度。基于机器学习的深度估计方式有很好的适用性，它不受场景的限制。它通过以深度图作为标签，将原图输入到模型中进行经验学习。但这种方法的学习速度较慢效率不高。而基于深度学习的单目深度估计方式出现则在一定程度上弥补了这些缺陷，其主要依据像素值关系反应深度关系，拟合函数把图像像素值反映到深度空间，从而获得深度图轮廓。从大量实验结果可以看出存在这样的函数从像素值中恢复深度值，但其深度图的效果不佳，图片呈现模糊，并且与原图相比，只能学习到图像深度值的大致分布，在诸多细节上仍存在巨大缺陷，这也正表示单纯依赖这样的函数来反映空间信息是片面的。为此，我们采取函数关系和图像存在的深度线索相结合的方式，由大量的先前的工作可以看出，使用深度学习可以学习到图像的深度空间的大致分布轮廓，与此同时一些细节层面的信息缺失可以通过传统的深度线索可以得到及时的弥补。例如图像的语义信息可以帮助机器理解图像中的实例，确定实例的区域，在同一块区域范围内，有着相近的深度信息，这可以很好地弥补图像中实例的细节层面的深度信息缺失的问题。而在专利技术中，我们把图像的梯度信息和纹理信息作为深度线索，协助深度卷积网络学习图像的深度信息。由大量的实验证明，本专利技术中的方法对图像的深度信息有着良好的学习能力。目前基于单目图像的深度估计算法具有方便部署、计算成本低等优点，受到了学术界和工业界日益增长的关注。越来越多的人们开始利用深度学习的方式来获得图像的深度特征。如今深度估计在生活环境中的应用变得日益普遍，例如帮助潜在应用更好理解网络或是在社交媒体上发布的图像，又或者可以改善现有的识别任务，并支持3D建模，机器人等应用，在增强现实(AR)，自动驾驶，场景重建等领域上发挥巨大的作用。
技术实现思路
本专利技术提出一种结合梯度和纹理特征的单目图像深度估计方法。该方法基于深度学习可以从单目图像中简单有效地提取出深度特征。本专利技术主要依据数字图像处理的方式提取图像特征和利用深度学习进行监督学习。本专利技术提出了一种新颖的端到端深度预测模型结构，本专利技术工作主要分为高维深度特征编解码器训练和RGB图片高维特征编码器训练两部分：第一部分主要通过训练深度图自动编码到高维特征的编码器以及训练高维特征通过解码恢复到原先深度图的解码器，其目的是为了从单张深度图中自动编码得到包含深度信息的高维特征，通过对高维特征进行解码得到正确的深度图，为第二部分的工作提供准确的高维特征标签。第二部分训练部分主要是学习单张RGB图像自动编码得到等同的高维特征。通过数字图像处理的方法从图像中提取梯度特征和纹理特征；再将原图和得到的特征图通过编码器编码，把预训练的高维特征作为监督，从而得到与预训练等同的高维特征。而在编码的过程中加上梯度特征和纹理特征，是为了在模型学习的过程中可以提供深度线索，对学习深度提供导向作用。最后通过解码器解码学习到的高维特征，得到最终目标的深度特征图。实验验证，本专利技术提出的方法可以快速高效地得到单目图像的深度特征。纹理特征是反映物体表面结构属性的周期性变化和缓慢变化，主要反映同质现象，不同于颜色等其他的图像特征那样基于像素点计算，纹理特征常是在包含多个像素点的区域内进行统计计算，包含了多个像素点的特征信息，反应出的属性周期性变化或缓慢变化中包含了大量的深度信息，这可作为深度信息线索。并且纹理特征对于图像的噪声具有较强的抵御能力，可以在室内这样场景中对提取深度特征起到重要作用。图像的梯度特征常是根据梯度的方向密度分布和梯度大小分布反应物体的表象和形状，常分布在物体的边缘位置，对于模型学习图像中的物体，可以提供良好的轮廓信息。并且沿着图像梯度下降最快的方向和深度下降最快的方向存在大体上一致性，把握梯度下降的方向也为估计深度，提取深度信息提供了巨大的帮助。一种结合梯度和纹理特征的单目图像深度估计方法，主要分成训练编码深度高维特征-训练编码RGB图高维特征-解码高维特征三个部分，具体包含以下步骤：步骤1：预训练目标高维特征，设计训练编码深度高维特征，并解码成原输入深度图的模型结构，具体提取步骤如下：1-1.设计深度图-高维特征的编码器模块，参照unet网络结构：通过初始卷积模块做初步的特征提取；再经过4次1/2的下采样模块，作为主要编码的主体，将特征达到一定高的维度空间内，让模型充分学习图像的深度特征信息。始卷积模块包括两个Conv卷积-BatchNormalization批正则化-ReLU激活操作模块；下采样模块包括Maxpooling最大池化-Conv卷积-BatchNormalization批正则化-ReLU激活-Conv卷积-ReLU激活操作模块；1-2.设计高维特征-深度图的解码模块，通过上采样卷积模块作为解码的主体，以此重复4次执行，得到原深度图的等比例的输出图。上采样卷积模块主要包括upsampling上采样-Conv卷积-BatchNormalization批正则化-ReLU激活-Conv卷积-BatchNormalization批正则化-ReLU激活的操作模块；1-3.选取最佳损失函数，高效地让模型学习高维特征，并把高维特征解码成等同的深度图。在本专利技术中，为了促进模型的收敛，我们把输出深度图和输入深度图的L1范数作为损失函数。步骤2：提取单目图像的附加图像特征。附加特征主要是针对图像提取相应的纹理特征和梯度特征，具体提取步骤如下：2-1.提取纹理特征：本文档来自技高网...

【技术保护点】
1.一种结合梯度和纹理特征的单目图像深度估计方法，其特征在于主要分成训练编码深度高维特征-训练编码RGB图高维特征-解码高维特征三个部分，具体包含以下步骤：/n步骤1：预训练目标高维特征，设计训练编码深度高维特征，并解码成原输入深度图的模型结构；/n步骤2：提取单目图像的附加图像特征；附加特征主要是针对图像提取相应的纹理特征和梯度特征；/n步骤3：构造训练高维特征学习的编码器；/n步骤4：将训练完成的高维特征输入到步骤1训练练完成的解码器中，进行解码得到我们最后的深度输出图。/n

【技术特征摘要】
1.一种结合梯度和纹理特征的单目图像深度估计方法，其特征在于主要分成训练编码深度高维特征-训练编码RGB图高维特征-解码高维特征三个部分，具体包含以下步骤：
步骤1：预训练目标高维特征，设计训练编码深度高维特征，并解码成原输入深度图的模型结构；
步骤2：提取单目图像的附加图像特征；附加特征主要是针对图像提取相应的纹理特征和梯度特征；
步骤3：构造训练高维特征学习的编码器；
步骤4：将训练完成的高维特征输入到步骤1训练练完成的解码器中，进行解码得到我们最后的深度输出图。


2.根据权利要求1所述的一种结合梯度和纹理特征的单目图像深度估计方法，其特征在于步骤1具体实现如下：
1-1.设计深度图-高维特征的编码器模块，参照unet网络结构：通过初始卷积模块做初步的特征提取；再经过4次1/2的下采样模块，作为主要编码的主体，将特征达到一定高的维度空间内，让模型充分学习图像的深度特征信息；始卷积模块包括两个Conv卷积-BatchNormalization批正则化-ReLU激活操作模块；下采样模块包括Maxpooling最大池化-Conv卷积-BatchNormalization批正则化-ReLU激活-Conv卷积-ReLU激活操作模块；
1-2.设计高维特征-深度图的解码模块，通过上采样卷积模块作为解码的主体，以此重复4次执行，得到原深度图的等比例的输出图；上采样卷积模块主要包括upsampling上采样-Conv卷积-BatchNormalization批正则化-ReLU激活-Conv卷积-BatchNormalization批正则化-ReLU激活的操作模块；
1-3.选取最佳损失函数，高效地让模型学习高维特征，并把高维特征解码成等同的深度图；在本发明中，为了促进模型的收敛，我们把输出深度图和输入深度图的L1范数作为损失函数。


3.根据权利要求2所述的一...

【专利技术属性】
技术研发人员：孔清，颜成钢，刘彦禹，管飞，孙垚棋，张继勇，张勇东，沈韬，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33