一种基于几何一致性的深度估计效果优化方法技术

本发明专利技术公开了一种基于几何一致性的深度估计效果优化方法，首先通过深度估计网络模型获取初始深度图；然后通过表面法向量估计网络模型获取对应的表面法向量图；再通过几何一致性约束对初始深度图中的像素点进行优化；最后训练深度估计网络模型并通过表面法向量估计网络模型和几何一致性约束算法完成对深度估计结果的优化。本发明专利技术相较于传统的单目深度估计网络增加了基于表面法向量和深度几何关系的引导，一定程度上减弱了单目深度估计任务固有二义性的影响，达到使深度估计结果更加准确的效果。的效果。的效果。

【技术实现步骤摘要】
一种基于几何一致性的深度估计效果优化方法


[0001]本专利技术属于计算机视觉领域，尤其针对深度传感系统，具体涉及一种基于几何一致性的深度估计效果优化方法。

技术介绍

[0002]近年来，随着计算机视觉应用的快速增长，单幅图像的深度估计，即预测每个像素到摄像机的距离已成为一个重要问题。它在诸如增强现实、无人机控制、自动驾驶和运动规划等领域有着广泛的应用。然而，单目深度估计一直受限于任务本身存在的固有二义性，因为当没有任何约束的情况下，一个二维图片可以是多种三维空间点的投影。所以在缺乏三维几何约束的情况下，单目深度估计的结果会有很大的偏差。因此需要找到一种约束或引导信息来帮助单目深度估计任务效果的提升。
[0003]表面法向量与深度有着天然的几何一致性，一方面，表面法线由三维点的局部表面切平面确定，而这是可以根据深度估计出来的；另一方面，深度又受表面法线所确定的局部表面切平面的约束。因此我们就可以利用表面法向量与深度之间的几何一致性来对单目深度估计的结果进行优化，以达到更精准的深度估计效果。

技术实现思路

[0004]本专利技术主要考虑随着计算机视觉应用的快速增长，深度传感和估计在广泛的工程应用中至关重要。然而，现有的单目深度估计方法受限于任务的固有二义性问题使得其估计出来的深度图存在着较大的偏差。于是，如何提高单目深度估计精度是值得探讨的问题。
[0005]针对现有技术中存在的不足，本专利技术提供一种基于几何一致性的深度估计效果优化方法。本专利技术针对单目深度估计问题，对传统的单目深度估计的结果进行优化。由于我们需要利用表面法向量与深度之间的几何一致性，而表面法向量是不能够直接通过传感器获得的，所以我们需要一个神经网络来完成表面法向量估计的任务，也就是这个表面法向量估计神经网络会接收一张RGB图并产生一张估计出的表面法向量图。有了表面法向量图之后，我们就可以根据表面法向量与深度之间的几何一致性来对深度估计网络估计出的深度图进行优化。通过这种方法来对单目深度估计任务引入表面法向量约束，从而使得最后得到的深度图有更精准的效果。
[0006]一种基于几何一致性的深度估计效果优化方法，具体步骤如下：
[0007]步骤1、通过深度估计网络模型获取初始深度图；
[0008]步骤2、通过表面法向量估计网络模型获取对应的表面法向量图；
[0009]步骤3、通过几何一致性约束对初始深度图中的像素点进行优化；
[0010]步骤4、训练深度估计网络模型并通过表面法向量估计网络模型和几何一致性约束算法完成对深度估计结果的优化；
[0011]进一步的，步骤1具体方法如下；
[0012]深度估计网络模型由编码器和解码器两部分构成，其中编码器部分使用ResNet50
神经网络，解码器部分使用标准上采样，且每个残差块都要与对应的上采样层进行数值传递，即添加跳过连接。深度估计网络接收来自相机的RGB图，并输出初始深度图。
[0013]进一步的，步骤3具体方法如下；
[0014]处于同一平面上的像素之间的深度变化是与这个平面的表面法向量相关的，通过这个共面的几何一致性来约束优化深度信息，几何一致性约束算法描述如下：
[0015]对于图像中的任意一个像素点i，给定它的表面法向量n
ix
,n
iy
,n
iz
)(由表面法向量估计网络得到)和它初始估计出来的深度zi(由深度估计网络得到),优化这个点的深度。
[0016]首先，对于一个三维点(x
i
,y
i
,z
i
)和它的表面法向量(n
ix
,n
iy
,n
iz
)，唯一确定一个切平面P
i
，满足公式：
[0017]n
ix
(x
‑
x
i
)+n
iy
(y
‑
y
i
)+n
iz
(z
‑
z
i
)＝0
[0018]遵循传统的假设，即像素i周围小范围的像素也都在这个切平面P
i
上，而这个范围定义为
[0019][0020]其中，β是用来控制范围大小的超参数；α是一个阈值，用来排除那些临近却不太可能共面的点；(u
i
,v
i
)是像素点i在二维图像中的坐标。对于任意像素根据下面的公式来计算像素i的估计深度z'
ji
：
[0021][0022]其中，f
x
和f
y
分别是相机延x和y方向的焦距长度；c
x
和c
y
分别是相机主点在x和y方向的偏移长度。在得到这些估计的深度后就可以对像素i的深度进行优化：
[0023][0024]其中，是优化后的深度，n
i
＝[n
ix
,n
iy
,n
iz
]并且K是核函数并且这样当n
u
和n
j
两个法向量之间的夹角越小，意味着像素i和j在同一个切平面的概率越大并且估计出的深度z'
ji
越准确。
[0025]进一步的，步骤4具体方法如下；
[0026]分别采用NYU v2和ScanNet v2两个数据集对深度估计网络进行训练。训练完成后，将一张RGB图分别输入到深度估计网络模型和表面法向量估计网络中，得到一张初始深度图和一张对应的表面法向量图，将初始深度图中每个像素点的深度都通过几何一致性约束算法进行优化即可得到最终的深度图。
[0027]本专利技术有益效果如下：
[0028]本专利技术相较于传统的单目深度估计网络增加了基于表面法向量和深度几何关系的引导，一定程度上减弱了单目深度估计任务固有二义性的影响，达到使深度估计结果更加准确的效果。
附图说明
[0029]图1是本专利技术的整体网络模型图；
[0030]图2是表面法向量和深度之间几何约束示意图；
具体实施方式
[0031]下面结合具体实施方式对本专利技术进行详细的说明。
[0032]本专利技术提出的一种基于几何一致性的深度估计效果优化方法，按照以下步骤实施。
[0033]步骤1、确定深度估计神经网络模型结构；
[0034]深度估计网络模型由编码器和解码器两部分构成，其中编码器部分使用ResNet50神经网络，解码器部分使用标准上采样，且每个残差块都要与对应的上采样层进行数值传递，即添加跳过连接。深度估计网络接收来自相机的RGB图，并输出初始深度图。
[0035]步骤2、确定表面法向量估计网络模型结构；
[0036]由于本专利技术的重点不是针对表面法向量估计，所以这里我们采用已有工作的结果，即训练好的一个用于表面法向量估计的神经网络模型(Bae本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于几何一致性的深度估计效果优化方法，其特征在于，具体步骤如下：步骤1、通过深度估计网络模型获取初始深度图；步骤2、通过表面法向量估计网络模型获取对应的表面法向量图；步骤3、通过几何一致性约束对初始深度图中的像素点进行优化；步骤4、训练深度估计网络模型并通过表面法向量估计网络模型和几何一致性约束算法完成对深度估计结果的优化。2.根据权利要求1所述的一种基于几何一致性的深度估计效果优化方法，其特征在于，步骤1具体方法如下；深度估计网络模型由编码器和解码器两部分构成，其中编码器部分使用ResNet50神经网络，解码器部分使用标准上采样，且每个残差块都要与对应的上采样层进行数值传递，即添加跳过连接；深度估计网络接收来自相机的RGB图，并输出初始深度图。3.根据权利要求1所述的一种基于几何一致性的深度估计效果优化方法，其特征在于，步骤3具体方法如下；处于同一平面上的像素之间的深度变化是与这个平面的表面法向量相关的，通过这个共面的几何一致性来约束优化深度信息，几何一致性约束算法描述如下：对于图像中的任意一个像素点i，给定它的表面法向量(n
ix
,n
iy
,n
iz
)和它初始估计出来的深度z
i
,优化这个点的深度；首先，对于一个三维点(x
i
,y
i
,z
i
)和它的表面法向量(n
ix
,n
iy
,n
iz
)，唯一确定一个切平面P
i
，满足公式：n
ix
(x
‑
x
i
)+n
iy
(y
‑
y
i
)+n
iz
(z
‑
z
i
)＝0遵循传统的假设，即像素i周围小范围的像素也都在这个切平面P
i
...

【专利技术属性】
技术研发人员：颜成钢，杨智文，张杰华，李亮，高宇涵，孙垚棋，陈楚翘，王鸿奎，王廷宇，殷海兵，张继勇，李宗鹏，赵治栋，
申请(专利权)人：杭电丽水研究院有限公司，
类型：发明
国别省市：