一种基于图像以及极稀疏三维点的深度补全方法技术

本发明专利技术公开了一种基于图像以及极稀疏三维点的深度补全方法。本发明专利技术使用深度学习以及传统的最优化方法，分别使用输入的三维点的不同属性，在输入的稀疏点数目较少的情况下得到正确的深度估计。本发明专利技术利用一组深度基解耦相对深度与绝对深度的估计。提升方法对于输入三维点噪声的鲁棒性，可以在噪声较高的系统中获得相对较好的深度，从而应用到虚拟现实和增强现实等应用中。现实等应用中。现实等应用中。

【技术实现步骤摘要】
一种基于图像以及极稀疏三维点的深度补全方法


[0001]本专利技术涉及计算机视觉和计算机图形学领域，尤其涉及一种基于体素神经隐式表面的稠密定位和建图方法。

技术介绍

[0002]稠密深度是一种三维空间测量的信息，被广泛应用于机器人技术、自动驾驶、安防监控、建筑规划、环境监测等诸多领域。比如，它可以帮助机器人技术更好地识别环境中的物体，从而帮助机器人实现诸如抓取，避障等任务；它可以帮助自动驾驶系统更好地定位车辆，从而提高驾驶安全；它可以帮助安防监控系统更好地识别周围环境，从而提高安全性。将稠密深度与传统视觉融合，可以很方便的解决传统视觉难以解决的问题，例如高效的稠密三维重建，以及AR、VR中的遮挡碰撞检测等。
[0003]随着技术的发展，出现了很多深度传感器可以直接获取稠密深度信息，如Kinect、RealSense等设备。除了这些可以直接获取稠密深度信息的传感器外，还有激光雷达之类的传感器，这些传感器直接获取到的深度信息通常是半稠密活着稀疏的深度信息，这时候就可以使用深度补全算法，将半稠密或者稀疏的深度补全为稠密深度。现有的深度补全算法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像以及极稀疏三维点的深度补全方法，其特征在于，包括以下步骤：步骤1：输入RGB图像以及对应的稀疏点的坐标和深度；使用基于多基拟合的深度补全神经网络预测出一组与输入的RGB图像分辨率相等的深度基和一张置信度图，最终的稠密深度由各深度基加权求和获得，置信度图则代表最终深度的置信度；步骤2：对于输入的每个稀疏点j，已知稀疏点对应的图像坐标p
j
以及观测深度值S
j.
；使用稀疏点的坐标抽取出各深度基对应坐标位置的一组深度值；将来自不同基的深度值与对应基的权重加权求和，得到该稀疏点对应的预测深度值D
j
；通过优化各基的权重来最小化所有稀疏点预测深度值与观测深度值之间的差，这构成了一个最优化问题；步骤3：判断步骤2中求解的最优化问题是否为不适定问题；如果是，则直接输出结果不可靠；否则，将得到的权重与先验的权重进行对比判断，如果偏离先验权重超过设定阈值，则输出结果不可靠；若相对先验权重的偏离在允许范围内，则使用得到的权重对整张图的深度基组进行线性组合得到最终的深度结果。2.根据权利要求1所述的基于图像以及极稀疏三维点的深度补全方法，其特征在于，所述的步骤1中使用深度补全神经网络预测出一组与输入的RGB图像分辨率相等的深度基和一张置信度图，具体为：基于多基拟合的深度补全神经网络采用U
‑
Net来进行特征的编码和解码；使用编码网络F
e
得到输入分辨率1/32的高维特征表示，加入正弦位置编码，再使用解码网络F
d
分两路输出与输入等分辨率的深度基组以及置信度图；基于多基拟合的深度补全神经网络将最后若干层网络的输出作为深度预测结果输出；网络训练使用的损失函数如下：L＝w
d
L
dep
+w
c
L
conf
+w
r
L
reg
其中L为总损失项，L
dep
为深度一致性项，L
conf
为置信度损失项，L
reg
为条件数正则化损失项，w
d
、w
c
、w
r
为对应损失项的权重，根据经验值预先设定；L
dep
的具体定义如下：L
dep
＝||D
gt
‑
D
pred
||1+||ΔD
gt<...

【专利技术属性】
技术研发人员：谢卫健，褚冠宜，钱权浩，章国锋，鲍虎军，
申请(专利权)人：浙江大学，
类型：发明
国别省市：