【技术实现步骤摘要】
一种基于注意力全景感知引导的深度补全方法及装置
[0001]本专利技术涉及信息融合
,特别是指一种基于注意力全景感知引导的深度补全的方法及装置。
技术介绍
[0002]在自动驾驶、三维场景重建和VR等诸多三维视觉领域中,获得精确且稠密的深度信息是十分基础且重要的感知技术。为了获取可靠的深度信息,现阶段大都使用可见光相机和激光雷达两种传感器进行深度感知。可见光相机获取的图像数据不具有深度信息,但其拥有丰富的纹理和色彩信息;而激光雷达扫描的深度信息十分稀疏,但其受环境光的影响较小且能提供精确的深度信息。由于这两种传感器的信息能很好的互补,现在主流的深度补全方法主要采用这两种传感器采集的信息。然而,虽然激光雷达能提供精确的信息,但其测量的密度很小,生成的稀疏深度图中有效深度值仅占不到6%。在三维视觉领域中,稀疏的深度图并不能直接被应用,因此,如何将稀疏的深度图补全为精度更高的密集深度图一直是该领域的一个难点。另外,如何更好地融合这两种传感器的信息,也是深度补全中的一个重要任务。
[0003]在如今深度学习技术取得了巨大成功的条件下,主流的方法是将稀疏深度图和RGB图像输入到神经网络中然后回归出密集的深度图。基于深度学习的神经网络深度补全算法主要是基于编码器
‑
解码器的卷积神经网络进行特征提取与融合,从而回归出密集的深度图。最近的方法集中在利用彩色图像作为指导图像来恢复无效像素的深度。然而,仅有彩色图像不足以提供对场景的必要理解。因此,深度补全任务受到RGB图像中突然的光照变化(例如,阴影)的 ...
【技术保护点】
【技术特征摘要】
1.一种基于注意力全景感知引导的深度补全方法,其特征在于,包括:S1:获取可见光相机拍摄的RGB图像数据以及激光雷达扫描的稀疏深度图像数据;S2:通过全景分割网络将RGB图像数据处理为待处理图像的全景分割图像数据;S3:构建3U
‑
DenseNet网络,将所述RGB图像数据、全景分割图像数据以及稀疏深度图像数据输入至所述3U
‑
DenseNet网络,经过多模态注意力融合模块MMTSAFB输出初步深度补全结果;S4:构建结合卷积空间传播网络CSPN++,将所述初步深度补全结果输入至CSPN++中,获得深度补全结果,完成基于注意力全景感知引导的深度补全。2.根据权利要求1所述的基于注意力全景感知引导的深度补全方法,其特征在于,所述步骤S2中,通过全景分割网络将RGB图像数据处理为待处理图像的全景分割数据,包括:通过一个预先训练的Mask2Former模型将RGB图像转换为全景分割语义图像数据。3.根据权利要求1所述的基于注意力全景感知引导的深度补全方法,其特征在于,所述步骤S3中,3U
‑
DenseNet网络,包括:颜色引导SC分支、全景分割语义引导SP分支和深度引导3S分支三个分支。4.根据权利要求3所述的基于注意力全景感知引导的深度补全方法,其特征在于,所述颜色引导SC分支以及全景分割语义引导SP分支均采用密集跳跃连接的编码器
‑
解码器网络架构,其中,编码器包括一个卷积层和五个Resnet块,在卷积层和Resnet块后面还包括六个B
‑
T块构成另外一条支路;解码器包括一个卷积层和五个转置卷积层,对输入数据进行上采样,并对各层解码器的特征进行融合。5.根据权利要求4所述的基于注意力全景感知引导的深度补全方法,其特征在于,所述步骤S3中,将所述RGB图像数据、全景分割图像数据以及稀疏深度图像数据输入至所述3U
‑
DenseNet网络,包括:将所述RGB图像数据以及稀疏深度图像数据输入至所述颜色引导SC分支,获得具有场景的颜色线索的颜色密集深度图SC
‑
Depth数据;将预测的SC分支的颜色密集深度图SC
‑
Depth数据以及全景语义图像和稀疏深度图像数据输入至全景分割语义引导SP分支,获得全景语义深度数据;将稀疏深度图像数据、颜色密集深度图SC
‑
Depth数据以及全景语义深度数据输入至深度引导3S分支,获得密集深度图数据。6.根据权利要求...
【专利技术属性】
技术研发人员:刘皓挺,陈帅,蓝金辉,陈成凯,王潇涵,
申请(专利权)人:北京科技大学顺德创新学院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。