一种单目深度估计方法及系统技术方案

本发明专利技术公开了一种单目深度估计方法及系统，根据初始基础深度估计网络，获取单视角彩色图像的初始深度图；对所述单视角彩色图像进行结构提取，获得所述单视角彩色图像的几何结构；依据所述几何结构对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图。由于使用了单视角彩色图像的几何结构对初始深度图进行了优化，可以增强深度估计的效果，且无需任何额外数据作为深度估计的监督数据，使得对单视角彩色图像的深度估计更为简便和准确。

A Monocular Depth Estimation Method and System

【技术实现步骤摘要】
一种单目深度估计方法及系统
本专利技术涉及计算机视觉
，特别是涉及一种单目深度估计方法及系统。
技术介绍
单目深度估计是计算机视觉领域中的一个基本任务，对其他许多领域都有帮助，例如，目标追踪、机器人导航和自动驾驶等领域。为了解决这个问题，目前大部分方法及采用其他方式获取的深度数据来有监督地训练深度神经网络模型，从而在测试阶段对一个单视角彩色图像进行深度估计。但是，这种方法需要大量的深度数据作为监督数据，而现实场景中深度相机并不普及，很难获得大量的场景图像对应的深度标签，使得对单视角彩色图像进行深度估计较为困难且准确度较低。
技术实现思路
针对于上述问题，本专利技术提供一种单目深度估计方法及系统，实现了无需任何额外数据作为监督，使得对单视角彩色图像的深度估计更为简便和准确。为了实现上述目的，本专利技术提供了如下技术方案：一种单目深度估计方法，该方法包括：根据初始基础深度估计网络，获取单视角彩色图像的初始深度图；对所述单视角彩色图像进行结构提取，获得所述单视角彩色图像的几何结构；依据所述几何结构对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图。可选地，所述初始基础深度估计网络包括深度估计网络和姿态估计网络，其中，所述根据初始基础深度估计网络，获取单视角彩色图像的初始深度图，包括：通过所述深度估计网络对所述单视角彩色图像在任一视频帧对应的视频帧图像进行深度估计，获得视频帧深度图；通过所述姿态估计网络对所述单视角彩色图像的连续两个视频帧进行测试，获得相机姿态矩阵；基于所述相机姿态矩阵，生成所述视频帧图像至目的视图图片的映射关系，其中，所述目的视图图片为所述视频帧图像根据所述相机姿态矩阵和所述视频帧深度图形变获得的图片；基于所述映射关系和所述目的视图图片的惩罚项，生成惩罚项公式；基于所述惩罚项公式和所述深度估计网络对网络参数进行训练，获得初始深度图。可选地，所述对所述单视角彩色图像进行结构提取，获得所述单视角彩色图像的几何结构，包括：依据所述预设基础深度估计网络，在所述单视角彩色图像数据集上进行训练，获得卷积层；将所述卷积层中最后三层卷积层进行处理，获得特征图；对所述特征图进行卷积和激活处理，获得所述单视角彩色图像的几何结构。可选地，该方法还包括：获取所述几何结构的结构特征信息，其中，所述依据所述几何结构对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图，包括：依据所述结构特征信息对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图。可选地，所述依据所述结构特征信息对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图，包括：获取所述几何结构对应的图像的像素值，并依据所述像素值计算获得域变换系数；依据所述域变换系数与预设系数阈值，确定所述几何结构中的结构特征信息；确定与所述结构特征信息对应的惩罚项，并基于所述惩罚项对所述结构特征信息进行训练；依据训练后的结构特征信息对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图。可选地，该方法还包括：基于所述域变换系数，对原始域变换滤波器进行优化，获得改进后的域变换公式，使得依据所述域变换公式对所述结构特征信息进行图像滤波处理。一种单目深度估计系统，该系统包括：初始化单元，用于根据初始基础深度估计网络，获取单视角彩色图像的初始深度图；提取单元，用于对所述单视角彩色图像进行结构提取，获得所述单视角彩色图像的几何结构；优化单元，用于依据所述几何结构对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图。可选地，所述初始化单元包括：估计子单元，用于通过所述深度估计网络对所述单视角彩色图像在任一视频帧对应的视频帧图像进行深度估计，获得视频帧深度图；测试子单元，用于通过所述姿态估计网络对所述单视角彩色图像的连续两个视频帧进行测试，获得相机姿态矩阵；第一生成子单元，用于基于所述相机姿态矩阵，生成所述视频帧图像至目的视图图片的映射关系，其中，所述目的视图图片为所述视频帧图像根据所述相机姿态矩阵和所述视频帧深度图形变获得的图片；第二生成子单元，用于基于所述映射关系和所述目的视图图片的惩罚项，生成惩罚项公式；第一训练子单元，用于基于所述惩罚项公式和所述深度估计网络对网络参数进行训练，获得初始深度图。可选地，所述提取单元包括：第二训练子单元，用于依据所述预设基础深度估计网络，在所述单视角彩色图像数据集上进行训练，获得卷积层；第一处理子单元，用于将所述卷积层中最后三层卷积层进行处理，获得特征图；第二处理子单元，用于对所述特征图进行卷积和激活处理，获得所述单视角彩色图像的几何结构。可选地，该系统还包括：信息获取单元，用于获取所述几何结构的结构特征信息，所述优化单元具体用于依据所述结构特征信息对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图，其中，所述优化单元包括：像素获取子单元，用于获取所述几何结构对应的图像的像素值，并依据所述像素值计算获得域变换系数；信息确定子单元，用于依据所述域变换系数与预设系数阈值，确定所述几何结构中的结构特征信息；第四训练子单元，用于确定与所述结构特征信息对应的惩罚项，并基于所述惩罚项对所述结构特征信息进行训练；优化子单元，用于依据训练后的结构特征信息对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图；所述优化单元还包括：滤波器优化子单元，用于基于所述域变换系数，对原始域变换滤波器进行优化，获得改进后的域变换公式，使得依据所述域变换公式对所述结构特征信息进行图像滤波处理。相较于现有技术，本专利技术提供了一种单目深度估计方法及系统，根据初始基础深度估计网络，获取单视角彩色图像的初始深度图；对所述单视角彩色图像进行结构提取，获得所述单视角彩色图像的几何结构；依据所述几何结构对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图。由于使用了单视角彩色图像的几何结构对初始深度图进行了优化，可以增强深度估计的效果，且无需任何额外数据作为深度估计的监督数据，使得对单视角彩色图像的深度估计更为简便和准确。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种单目深度估计方法的流程示意图；图2为本专利技术实施例提供的一种初始的基础深度网络图；图3为本专利技术实施例提供的一个应用于单目深度估计的网络框架图；图4为本专利技术实施例提供的一种单目深度估计系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或本文档来自技高网...

【技术保护点】
1.一种单目深度估计方法，其特征在于，该方法包括：根据初始基础深度估计网络，获取单视角彩色图像的初始深度图；对所述单视角彩色图像进行结构提取，获得所述单视角彩色图像的几何结构；依据所述几何结构对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图。

【技术特征摘要】
1.一种单目深度估计方法，其特征在于，该方法包括：根据初始基础深度估计网络，获取单视角彩色图像的初始深度图；对所述单视角彩色图像进行结构提取，获得所述单视角彩色图像的几何结构；依据所述几何结构对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图。2.根据权利要求1所述的方法，其特征在于，所述初始基础深度估计网络包括深度估计网络和姿态估计网络，其中，所述根据初始基础深度估计网络，获取单视角彩色图像的初始深度图，包括：通过所述深度估计网络对所述单视角彩色图像在任一视频帧对应的视频帧图像进行深度估计，获得视频帧深度图；通过所述姿态估计网络对所述单视角彩色图像的连续两个视频帧进行测试，获得相机姿态矩阵；基于所述相机姿态矩阵，生成所述视频帧图像至目的视图图片的映射关系，其中，所述目的视图图片为所述视频帧图像根据所述相机姿态矩阵和所述视频帧深度图形变获得的图片；基于所述映射关系和所述目的视图图片的惩罚项，生成惩罚项公式；基于所述惩罚项公式和所述深度估计网络对网络参数进行训练，获得初始深度图。3.根据权利要求1所述的方法，其特征在于，所述对所述单视角彩色图像进行结构提取，获得所述单视角彩色图像的几何结构，包括：依据所述预设基础深度估计网络，在所述单视角彩色图像数据集上进行训练，获得卷积层；将所述卷积层中最后三层卷积层进行处理，获得特征图；对所述特征图进行卷积和激活处理，获得所述单视角彩色图像的几何结构。4.根据权利要求1所述的方法，其特征在于，该方法还包括：获取所述几何结构的结构特征信息，其中，所述依据所述几何结构对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图，包括：依据所述结构特征信息对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图。5.根据权利要求4所述的方法，其特征在于，所述依据所述结构特征信息对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图，包括：获取所述几何结构对应的图像的像素值，并依据所述像素值计算获得域变换系数；依据所述域变换系数与预设系数阈值，确定所述几何结构中的结构特征信息；确定与所述结构特征信息对应的惩罚项，并基于所述惩罚项对所述结构特征信息进行训练；依据训练后的结构特征信息对所述初始深度图进行优化，获得所述单视角彩色图像的深度估计图。6.根据权利要求5所述的方法，其特征在于，该方法还包括：基于所述域变换系数，对原始域变换滤波器进行优化，获得改进后的域变换公式，使得依据所述域变换公...

【专利技术属性】
技术研发人员：陈雪锦，吴枫，王超群，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34