一种融合稀疏已知标签的单目图像深度估计方法及装置制造方法及图纸

本发明专利技术提出了一种融合稀疏已知标签的单目图像深度估计方法及装置，包括：获取待估计RGB图像；利用单线激光雷达获取稀疏已知标签；将所述待估计RGB图像输入到预先建立的深度估计模型中，得到待估计RGB图像的第一深度图；通过全连接层将所述第一深度图与稀疏已知标签融合，得到所述待估计RGB图像的最终深度图。本发明专利技术提供的技术方案通过融合稀疏已知标签，减少了从单目图像映射到深度图的不确定性，从而有效地估计出更加可靠的场景深度。

【技术实现步骤摘要】
一种融合稀疏已知标签的单目图像深度估计方法及装置
本专利技术涉及图像处理领域，具体涉及一种融合稀疏已知标签的单目图像深度估计方法及装置。
技术介绍
单目图像估计场景深度是理解场景内几何结构的重要方法，而且，在研究许多其他计算机视觉问题时，融入深度信息能够提高算法的性能，例如语义分割，姿态估计，目标检测。目前已经有可以获取RGB-D深度图像的深度传感器(如微软的Kinect)，但这类传感器感知深度的范围有限(小于4m)，强光下会产生大量的噪声，故而在各种应用场景有其局限性。现有的单目图像深度估计存在很多问题，例如，一张二维图像对应无穷多种真实的3D场景，这就使得将单幅图像映射到深度图存在不确定性，这种不确定性决定了计算机视觉模型在原理上不可能仅凭单幅图像估计出精确的深度值。因此本专利技术提供一种融合稀疏已知标签的单目图像深度估计方法及装置来解决现有技术的不足。
技术实现思路
本专利技术旨在提供一种融合稀疏已知标签的单目图像深度估计方法及装置，解决目前图像深度估计不精确的问题。根据本专利技术一方面，其提供了一种融合稀疏已知标签的单目图像深度估计方法，包括：获取待估计RGB图像；利用单线激光雷达获取稀疏已知标签；将所述待估计RGB图像输入到预先建立的深度估计模型中，得到待估计RGB图像的第一深度图；通过全连接层将所述第一深度图与稀疏已知标签融合，得到所述待估计RGB图像的最终深度图。进一步的，所述利用单线激光雷达获取稀疏已知标签，包括：将单线激光雷达扫描到的点投影到二维相平面，得到稀疏已知标签。进一步的，所述深度估计模型包括：获取多张RGB图像；利用全卷积的深度残差网络提取所述RGB图像的特征；利用全连接层将所述特征转换为特征向量；根据损失函数训练所述全卷积的深度残差网络，得到优化后的网络参数；根据优化后的网络参数构建深度估计模型。进一步的，所述根据损失函数训练所述全卷积的深度残差网络，得到优化后的网络参数，包括：所述损失函数如下式所示：其中，与yi分别为像素i的真实深度值和预测深度值；xi为像素i的真实深度值与预测深度值的差值；c为阈值。进一步的，所述通过全连接层将所述第一深度图与稀疏已知标签融合，得到所述待估计RGB图像的最终深度图，包括：根据所述第一深度图的特征和稀疏已知标签特征，利用全连接层得到融合稀疏已知标签的特征向量；将所述融合稀疏已知标签的特征向量转换为待估计RGB图像的最终深度图。根据本专利技术另一方面，其公开了一种融合稀疏已知标签的单目图像深度估计装置，包括：第一获取模块，用于获取待估计RGB图像；第二获取模块，用于利用单线激光雷达获取稀疏已知标签；处理模块，用于将所述待估计RGB图像输入到预先建立的深度估计模型中，得到待估计RGB图像的第一深度图；融合模块，用于通过全连接层将所述第一深度图与稀疏已知标签融合，得到所述待估计RGB图像的最终深度图。进一步的，所述第二获取模块，用于，将单线激光雷达扫描到的点投影到二维相平面，得到稀疏已知标签。进一步的，所述处理模块包括模型构建子模块，所述模型构建子模块包括：获取单元，用于获取多张RGB图像；提取单元，用于利用全卷积的深度残差网络提取所述RGB图像的特征；转换单元，用于利用全连接层将所述特征转换为特征向量；优化单元，用于根据损失函数训练所述全卷积的深度残差网络，得到优化后的网络参数；构建单元，用于根据优化后的网络参数构建深度估计模型。进一步的，所述融合模块，用于，根据所述第一深度图的特征和稀疏已知标签特征，利用全连接层得到融合稀疏已知标签的特征向量；将所述融合稀疏已知标签的特征向量转换为待估计RGB图像的最终深度图。与最接近的现有技术相比本技术方案的有益效果是：本专利技术提供的技术方案将待估计RGB图像输入到预先建立的深度估计模型中，得到待估计RGB图像的第一深度图；再将第一深度图与利用单线激光雷达获取稀疏已知标签融合，得到所述待估计RGB图像的最终深度图。通过将模型的输出与稀疏已知标签融合的方式，减少从单目图像映射到深度图的不确定性，从而有效地估计出更加可靠的场景深度。附图说明图1为本专利技术的方法流程图；图2为本申请实施例中深度估计模型构建方法流程图；图3为本申请实施例中Encoder-Decoder的结构搭建示意图；图4为本申请实施例中Decoder的部分结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术提供了一种融合稀疏已知标签的单目图像深度估计方法，流程如下：S101、获取待估计RGB图像；S102、利用单线激光雷达获取稀疏已知标签；S103、将所述待估计RGB图像输入到预先建立的深度估计模型中，得到待估计RGB图像的第一深度图；S104、通过全连接层将所述第一深度图与稀疏已知标签融合，得到所述待估计RGB图像的最终深度图。在本申请实施例中，首先将待估计的RGB图像输入到预先建立的深度估计模型中，得到待估计RGB图像的第一深度图；然后利用单线激光雷达获取稀疏已知标签；将第一深度图与稀疏已知标签融合，得到具有像素级深度标签的深度图。通过融合稀疏已知标签的方式，减少从单目图像映射到深度图的不确定性，从而有效地估计出更加可靠的场景深度。由于单线二维激光雷达具有结构简单、低功耗、低成本等特点。例如Sick公司的产品LMS111，该传感器的价格约为velodyne公司的HDL-64的百分之五。因为这些特性，该传感器被广泛的安装在一些机器人或者无人驾驶汽车上，用来进行距离测量。利用单线二维激光雷达的这些特点，在本申请的一些实施例中，所述利用单线激光雷达获取稀疏已知标签，包括：将单线激光雷达扫描到的点投影到二维相平面，得到稀疏已知标签。也就是，将单线激光雷达扫描到的点投影到二维相平面，此时，这些点均位于一条近似水平直线上，直线上的像素点因此具有了深度值，直线外的像素点以零值填充。由于整个相平面上仅有一条直线具有可靠的深度值，因此这种由单线激光雷达获取的先验信息在本专利技术中被称为稀疏已知标签。在本申请的一些实施例中，如图2所示，深度估计模型包括：S201、获取多张RGB图像；S202、利用全卷积的深度残差网络提取所述RGB图像的特征；S203、利用全连接层将所述特征转换为特征向量；S204、根据损失函数训练所述全卷积的深度残差网络，得到优化后的网络参数；S205、根据优化后的网络参数构建深度估计模型。本实施例中的模型按照Encoder-Decoder的结构搭建，如图3所示。Encoder部分采用了152层的全卷积的深度残差网络，依次从输入图像中提取低分辨率的高维特征。Decoder主要由反卷积层组成，依次将Encoder输出上采样至5个尺度的输出，最终尺度输出的尺寸为输入图像大小。在Decoder部分进行的优化操作如下：首先，将上一个反卷积层输出的特征图、与该特征图对应尺寸的Encoder所提取的特征图以及上一尺度的输出这三个高维向量拼接为一个高维向量；然后对其进行反卷积操作本文档来自技高网...

【技术保护点】
1.一种融合稀疏已知标签的单目图像深度估计方法，其特征在于，包括：获取待估计RGB图像；利用单线激光雷达获取稀疏已知标签；将所述待估计RGB图像输入到预先建立的深度估计模型中，得到待估计RGB图像的第一深度图；通过全连接层将所述第一深度图与稀疏已知标签融合，得到所述待估计RGB图像的最终深度图。

【技术特征摘要】
1.一种融合稀疏已知标签的单目图像深度估计方法，其特征在于，包括：获取待估计RGB图像；利用单线激光雷达获取稀疏已知标签；将所述待估计RGB图像输入到预先建立的深度估计模型中，得到待估计RGB图像的第一深度图；通过全连接层将所述第一深度图与稀疏已知标签融合，得到所述待估计RGB图像的最终深度图。2.根据权利要求1所述的方法，其特征在于，所述利用单线激光雷达获取稀疏已知标签，包括：将单线激光雷达扫描到的点投影到二维相平面，得到稀疏已知标签。3.根据权利要求1所述的方法，其特征在于，所述深度估计模型包括：获取多张RGB图像；利用全卷积的深度残差网络提取所述RGB图像的特征；利用全连接层将所述特征转换为特征向量；根据损失函数训练所述全卷积的深度残差网络，得到优化后的网络参数；根据优化后的网络参数构建深度估计模型。4.根据权利要求3所述的方法，其特征在于，所述根据损失函数训练所述全卷积的深度残差网络，得到优化后的网络参数，包括：所述损失函数如下式所示：其中，与yi分别为像素i的真实深度值和预测深度值；xi为像素i的真实深度值与预测深度值的差值；c为阈值。5.根据权利要求1所述的方法，其特征在于，所述通过全连接层将所述第一深度图与稀疏已知标签融合，得到所述待估计RGB图像的最终深度图，包括：根据所述第一深度图的特征和稀疏已知标签特征，利用全连接层得到融合稀疏已...

【专利技术属性】
技术研发人员：张一帆，李耀宇，
申请(专利权)人：中国科学院自动化研究所，中国科学院自动化研究所南京人工智能芯片创新研究院，
类型：发明
国别省市：北京,11