一种基于神经辐射场的分步式深度补全方法及终端技术

技术编号:43132314 阅读:25 留言:0更新日期:2024-10-29 17:39
本发明专利技术提供的一种基于神经辐射场的分步式深度补全方法及终端,包括:在基于神经辐射场的网络中对输入图像进行密度分布预测和渲染,得到场景深度和用于监督的新视图;在初补全网络中输入新视图、预测的深度信息及稀疏深度图,并对稀疏深度图进行初步补全,得到初步深度图;在细化网络中输入初步深度图及稀疏深度图,并进行深度信息的细化;使用损失函数对整个网络的训练过程进行监督。本发明专利技术基于神经辐射场的网络预测出场景密度分布,有效解决物体轮廓深度不清晰的问题,再采用初补全网络及细化网络对深度图进行补全,得到质量更高的稠密深度图,并结合损失函数的监督,有效提高了自监督深度补全的精度和边界清晰度。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,特别涉及一种基于神经辐射场的分步式深度补全方法及终端


技术介绍

1、汽车能够对周围场景中物体深度(距离)进行精确感知是实现安全决策的基础。人类希望智能驾驶汽车可以通过车载摄像头和激光雷达捕获车辆周围的场景信息进行思考判断,在感知周围环境变化的时候做出安全的决策。如何从摄像头获取的图像信息和激光雷达获取的稀疏深度信息中得到精确、稠密的深度图是目前急需解决的问题。

2、目前采用的自监督方法来进行深度图补全尚缺少大量的真实深度信息,而稀疏深度图像的质量限制了神经网络处理信息的能力,导致不能发挥原本的性能。因此许多自监督的方法会在稀疏深度图像输入到神经网络之前先进行一次简单的稠密化,使得二维图像内部的空洞像素点闭合。此时再经过深度分支的网络提取特征时会有较好的效果,一般简单稠密化的方法有池化操作,scaffolding插值等方法。

3、但上述方法将重点放在了稀疏深度图像中,没有过多考虑图像的引导能力,并且简单稠密化操作会导致深度信息精度下降。


技术实现思路</p>

1、本专本文档来自技高网...

【技术保护点】

1.一种基于神经辐射场的分步式深度补全方法,其特征在于,包括步骤:

2.根据权利要求1所述的一种基于神经辐射场的分步式深度补全方法,其特征在于,所述步骤S1具体为:

3.根据权利要求1所述的一种基于神经辐射场的分步式深度补全方法,其特征在于,所述步骤S1中对输入图像进行密度分布预测,具体为:

4.根据权利要求3所述的一种基于神经辐射场的分步式深度补全方法,其特征在于,所述步骤S1中对输入图像进行渲染,具体为:

5.根据权利要求4所述的一种基于神经辐射场的分步式深度补全方法,其特征在于,所述步骤S1中还包括:

6.根据权利要求2所...

【技术特征摘要】

1.一种基于神经辐射场的分步式深度补全方法,其特征在于,包括步骤:

2.根据权利要求1所述的一种基于神经辐射场的分步式深度补全方法,其特征在于,所述步骤s1具体为:

3.根据权利要求1所述的一种基于神经辐射场的分步式深度补全方法,其特征在于,所述步骤s1中对输入图像进行密度分布预测,具体为:

4.根据权利要求3所述的一种基于神经辐射场的分步式深度补全方法,其特征在于,所述步骤s1中对输入图像进行渲染,具体为:

5.根据权利要求4所述的一种基于神经辐射场的分步式深度补全方法,其特征在于,所述步骤s1中还包括:

6.根据权利要求2所述的一种基于神经辐射场的分步式深度补全方法,其特征...

【专利技术属性】
技术研发人员:张进陈素琼
申请(专利权)人:福建高图信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1