一种基于稀疏测量和单目RGB图像的实时稠密深度估计方法技术

本发明专利技术公开了一种基于稀疏测量和单目RGB图像的实时稠密深度估计方法，采用自注意力机制和长、短稠密跳转连接技术，从稀疏深度测量中提取更多有用的信息。同时结合深度监督技术提出了一种用于实时深度估计的轻量化网络设计方法。实验结果验证了自注意力机制和长、短稠密跳转连接技术以及深度监督技术的有效性。实验结果表明，使用本发明专利技术提出的方法可以最大限度的平衡网络预测精度和推理速度，以获得效率最大化。采用本方法实时估计的深度误差，在稀疏采样率为<1/10000的情况下，室内数据集NYU‑Depth‑v2的精度在30cm以内，室外数据集KITTI的精度在4m以内。

【技术实现步骤摘要】
一种基于稀疏测量和单目RGB图像的实时稠密深度估计方法
本专利技术属于机器人视觉定位导航
，具体涉及一种基于稀疏测量和单目RGB图像的实时稠密深度估计方法。
技术介绍
稠密深度估计在无人机、智能导航、增强现实等领域发挥着重要作用。目前主流的深度采集方案由一个高分辨率的摄像头和一个低分辨率的深度传感器组成，这些传感器通常比较昂贵，而且无法获得密集深度，因此对于大多数应用来说并不实用。此外，基于RGB的深度估计的准确性和可靠性还远远没有达到实用的程度，尽管十多年来的研究工作都致力于通过深度学习方法来改进。因此，由单目相机和低分辨率深度传感器获取的单幅图像和稀疏深度测量的高精度稠密实时深度估计具有重要意义。与仅从一幅RGB图像或灰度图像中进行深度估计的问题相比，基于稀疏样本的方法的一个主要优点是稀疏的深度测量值可以被认为是输出真值的一部分，然而，目前大多数基于稀疏样本的深度估计方法都遵循与基于单帧RGB图像的方法类似的网络设计，这导致稀疏信息的利用率不足。针对这一问题，本专利技术尝试使用自注意力机制、长短密集跳转连接，进一步提高基于稀疏本文档来自技高网...

【技术保护点】
1.一种基于稀疏测量和单目RGB图像的实时稠密深度估计方法，其特征在于：包括以下步骤：/n(1)采用自注意力机制，从稀疏深度测量中提取信息，从而提高深度估计精度；/n(2)通过长短跳转连接技术，缩小低维特征与高维特征之间的差异，提高网络收敛速度；/n(3)利用深度监督技术，实现用于快速深度估计的轻量级网络设计。/n

【技术特征摘要】
1.一种基于稀疏测量和单目RGB图像的实时稠密深度估计方法，其特征在于：包括以下步骤：
(1)采用自注意力机制，从稀疏深度测量中提取信息，从而提高深度估计精度；
(2)通过长短跳转连接技术，缩小低维特征与高维特征之间的差异，提高网络收敛速度；
(3)利用深度监督技术，实现用于快速深度估计的轻量级网络设计。


2.根据权利要求1所述的一种基于稀疏测量和单目RGB图像的实时稠密深度估计方法，其特征在于：步骤(1)所述基于自注意力机制的深度特征提取方法表示为：
Attentiony，x＝ΣΣWeightsa·Input
Intermediatey，x＝ΣΣWeightsi·Input



式中，Weightsa和Weightsi代表不同的卷积核，⊙代表基于像素的乘法，σ和代表激活函数。


3.根据权利要求1所述的...

【专利技术属性】
技术研发人员：潘树国，赵涛，高旺，魏建胜，盛超，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32