一种对高分辨率图像敏感的单目绝对深度估计方法技术

本发明专利技术提出一种对高分辨率图像敏感的单目绝对深度估计方法，将双目输入的图像通过数据水平拼接模块在垂直方向上进行拼接，在小数据集上训练的模型有更高的泛化能力和更高的预测精度；将图像输入模型，通过新型跳跃连接和深度解码器模块，提升深度估计在高分辨率下的敏感性，得到归一化的相对深度图；将相对深度图通过绝对尺度恢复模块得到具有真实深度的绝对尺度深度图。本发明专利技术方法改善了单目深度估计的尺度模糊、高分辨率精度提升小、小数据集泛化性差的问题，并且对于含有动态物体、遮蔽、相机静止的应用场景有较强的适应性。蔽、相机静止的应用场景有较强的适应性。蔽、相机静止的应用场景有较强的适应性。

【技术实现步骤摘要】
一种对高分辨率图像敏感的单目绝对深度估计方法


[0001]本专利技术涉及图像估计领域，特别是指一种对高分辨率图像敏感的单目绝对深度估计方法。

技术介绍

[0002]深度估计被广泛运用于环境感知、场景理解、三维重建等领域，且在其中起到了关键作用。基于视觉的深度估计分为单目和多目的深度估计。单目深度估计相较于多目深度估计具有成本低、安装简易、数据获取容易等优点，是更具备挑战性和发展潜力的研究方向。目前主流的单目深度估计方法分为监督学习方法和自监督学习方法。基于监督学习的方法获取大量准确的深度真值是一个极大的挑战。因此，基于自监督学习的模型更接近于实际应用。但是，缺乏数据的数量和多样性是单目深度估计方法的一个棘手的问题，这会降低模型的泛化能力，并且自监督的单目深度估计存在固有的尺度模糊问题。同时，大多数将多帧图片作为输入的方法，对于含有动态物体、遮蔽、静止场景的深度估计效果较差。
[0003]目前，通过深度学习估计单目深度的方法大多对小数据集的泛化性差，对于高分辨数据的深度预测结果提升不大，并且大多无法恢复出绝对深度。

技术实现思路

[0004]本专利技术的主要目的在于克服现有技术中的上述缺陷，提出一种对高分辨率图像敏感的单目绝对深度估计方法，能够提升高分辨率相机下自监督单目深度估计的预测精度并预测出绝对深度，克服现有算法需要获取庞大数据集来进行自监督训练的缺点，并且对于含有动态物体、遮蔽、相机静止的应用场景有较强的适应性。
[0005]本专利技术采用如下技术方案：
[0006]一种对高分辨率图像敏感的单目绝对深度估计方法，包括：
[0007]在自监督单目绝对深度估计网络中输入单目图像序列/双目图像对，所述自监督单目绝对深度估计网络包括数据水平拼接模块，新型跳跃连接和深度解码器模块以及绝对尺度恢复模块；
[0008]输入图像通过数据水平拼接模块进行数据增强，利用重投影损失和多尺度像素平滑损失，构成自监督训练网络；
[0009]利用新型跳跃连接和深度解码器模块提取高分辨率特征，每一帧数据经过新型跳跃连接和深度解码器模块输出对应帧的相对深度图；
[0010]相对深度图通过绝对尺度恢复模块进行尺度恢复，得到含有绝对尺度的绝对深度图。
[0011]具体地，
[0012]所述数据水平拼接模块是将两对双目的输入图像进行部分地拼接，拼接方式由拼接率和相应的均匀概率确定；通过垂直拼接另一个输入图像中具有一定比例的区域来重构出新的输入图像，并随机垂直翻转这两个部分，得到拼接后的图像和拼接后垂直翻转的图
像。
[0013]具体地，所述新型跳跃连接和深度解码器模块，其中新型跳跃连接结构由三种不同类型的节点组成；分别为特征提取节点，第一特征融合节点，第二特征融合节点，其中特征提取节点由残差块组成；第一特征融合节点具有3
×
3卷积运算；第二特征融合节点由全连接层和1
×
1卷积层组成；视差由深度网络decoder进行解码，该块包含3
×
3卷积和Sigmoid激活函数；通过密集跳跃连接，解码器中的每个节点都得到最终聚集特征图、中间聚集特征图和来自编码器的原始特征图。
[0014]具体地，所述绝对尺度恢复模块，具体包括：
[0015]计算曲面法线，为输入图像中的每个像素确定一个曲面法线；所有像素点需要投影到3D空间中，公式如下：
[0016]D(p
i,j
)p
i,j
＝KP
i,j
[0017]其中，p
i,j
是表示具有一个齐次坐标的二维空间中第i行第j列的像素，P
i,j
是对应的三维空间中的点，D指的是对应点的深度，K为相机内参；
[0018]对于每个像素点使用8邻点规则确定其周围的平面，其8个邻点被分成4对，构成4个曲面，生成4个曲面法线，其公式如下：
[0019][0020]其中，L
x,y
指的是L(P
i,j
)第x对的第y个元素，l为曲面法线序号；点p
i,j
的最终归一化曲面法线由四个估计法线归一化和平均得到：
[0021][0022]计算的摄像机高度为：
[0023][0024]其中，是相机高度的矢量投影；
[0025]绝对深度尺度恢复的尺度系数f的计算公式为：
[0026][0027]其中，h
real
为真实的相机高度，绝对深度尺度恢复的尺度系数f即为相对深度图转化为绝对深度图的比例系数；得到尺度系数f后，实现相对尺度深度图到绝对尺度深度图的转换
[0028]由上述对本专利技术的描述可知，与现有技术相比，本专利技术具有如下有益效果：
[0029]本专利技术提供了一种对高分辨率图像敏感的单目绝对深度估计方法；将双目输入的图像通过数据水平拼接模块在垂直方向上进行拼接，在小数据集上训练的模型有更高的泛化能力和更高的预测精度；将图像输入模型，通过新型跳跃连接和深度解码器模块，提升深度估计在高分辨率下的敏感性，得到归一化的相对深度图；将相对深度图通过绝对尺度恢复模块得到具有真实深度的绝对尺度深度图。本专利技术方法改善了单目深度估计的尺度模糊、高分辨率精度提升小、小数据集泛化性差的问题。
附图说明
[0030]图1是本专利技术实施例提供的整体单目自监督绝对深度估计方法的流程示意图。
[0031]图2是本专利技术实施例提供的获取相对深度图的自监督网络框架；
[0032]图3是本专利技术实施例提供的数据水平拼接模块结构图；
[0033]图4是本专利技术实施例提供的绝对尺度恢复模块结构图；
[0034]图5是本专利技术实施例提供的新型深度网络跳跃连接和深度解码器结构图；
具体实施方式
[0035]为使本专利技术实施方式的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述。
[0036]由于自监督单目深度估计方法不需要深度真值进行监督训练，数据集获取更容易，所需的成本也更低。但是自监督单目深度估计由于没有深度真值可以参考，从而无法获取真实的尺度信息。并且目前的大多数方法对于高分辨率输入下的深度预测精度提升较小，在小数据集上的模型泛化性较差。因此，如何解决上述问题仍然具有挑战性。
[0037]下面以本专利技术的具体应用为例，进行更进一步的详细说明。
[0038]如图1是本专利技术实施例整体的流程示意图，首先输入单目图像序列或双目图像对。进一步地，输入图像通过数据水平拼接模块进行数据增强，增强模型的泛化性，利用重投影损失和多尺度像素平滑损失，构成自监督训练网络。进一步地，新型跳跃连接和深度解码器模块负责使网络获取输入图片更多语义信息和高分辨率特征，每一帧数据经过深度网络输出对应帧的相对深度图。进一步地，相对深度图通过绝对尺度恢复模块进行尺度恢复，得到含有绝对尺度的绝对深度图。至此，完成整个单目自监督绝对尺度深度估本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对高分辨率图像敏感的单目绝对深度估计方法，其特征在于，包括：在自监督单目绝对深度估计网络中输入单目图像序列/双目图像对，所述自监督单目绝对深度估计网络包括数据水平拼接模块，新型跳跃连接和深度解码器模块以及绝对尺度恢复模块；输入图像通过数据水平拼接模块进行数据增强，利用重投影损失和多尺度像素平滑损失，构成自监督训练网络；利用新型跳跃连接和深度解码器模块提取高分辨率特征，每一帧数据经过新型跳跃连接和深度解码器模块输出对应帧的相对深度图；相对深度图通过绝对尺度恢复模块进行尺度恢复，得到含有绝对尺度的绝对深度图。2.根据权利要求1所述的一种对高分辨率图像敏感的单目绝对深度估计方法，其特征在于，所述数据水平拼接模块是将两对双目的输入图像进行部分地拼接，拼接方式由拼接率和相应的均匀概率确定；通过垂直拼接另一个输入图像中具有一定比例的区域来重构出新的输入图像，并随机垂直翻转这两个部分，得到拼接后的图像和拼接后垂直翻转的图像。3.根据权利要求1所述的一种对高分辨率图像敏感的单目绝对深度估计方法，其特征在于，所述新型跳跃连接和深度解码器模块，其中新型跳跃连接结构由三种不同类型的节点组成；分别为特征提取节点，第一特征融合节点，第二特征融合节点，其中特征提取节点由残差块组成；第一特征融合节点具有3
×
3卷积运算；第二特征融合节点由全连接层和1
×
1卷积层组成；视差由深度网络decoder进行解码，该块包含3
×
...

【专利技术属性】
技术研发人员：张陈涛，周煜全，邓连钧，陶金，张建寰，徐周毅，
申请(专利权)人：厦门大学，
类型：发明
国别省市：