本发明专利技术提供的一种基于神经辐射场的分步式深度补全方法及终端，包括：在基于神经辐射场的网络中对输入图像进行密度分布预测和渲染，得到场景深度和用于监督的新视图；在初补全网络中输入新视图、预测的深度信息及稀疏深度图，并对稀疏深度图进行初步补全，得到初步深度图；在细化网络中输入初步深度图及稀疏深度图，并进行深度信息的细化；使用损失函数对整个网络的训练过程进行监督。本发明专利技术基于神经辐射场的网络预测出场景密度分布，有效解决物体轮廓深度不清晰的问题，再采用初补全网络及细化网络对深度图进行补全，得到质量更高的稠密深度图，并结合损失函数的监督，有效提高了自监督深度补全的精度和边界清晰度。
【技术实现步骤摘要】
本专利技术涉及计算机视觉，特别涉及一种基于神经辐射场的分步式深度补全方法及终端。
技术介绍
1、汽车能够对周围场景中物体深度(距离)进行精确感知是实现安全决策的基础。人类希望智能驾驶汽车可以通过车载摄像头和激光雷达捕获车辆周围的场景信息进行思考判断，在感知周围环境变化的时候做出安全的决策。如何从摄像头获取的图像信息和激光雷达获取的稀疏深度信息中得到精确、稠密的深度图是目前急需解决的问题。
2、目前采用的自监督方法来进行深度图补全尚缺少大量的真实深度信息，而稀疏深度图像的质量限制了神经网络处理信息的能力，导致不能发挥原本的性能。因此许多自监督的方法会在稀疏深度图像输入到神经网络之前先进行一次简单的稠密化，使得二维图像内部的空洞像素点闭合。此时再经过深度分支的网络提取特征时会有较好的效果，一般简单稠密化的方法有池化操作，scaffolding插值等方法。
3、但上述方法将重点放在了稀疏深度图像中，没有过多考虑图像的引导能力，并且简单稠密化操作会导致深度信息精度下降。
技术实现思路
1、本专利技术所要解决的技术问题是：提供一种基于神经辐射场的分步式深度补全方法及终端，提高了自监督深度补全的精度和边界清晰度。
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、一种基于神经辐射场的分步式深度补全方法，包括步骤：
4、s1、在基于神经辐射场的网络中对输入图像进行密度分布预测和渲染，得到场景深度和用于监督的新视图；
>5、s2、在初补全网络中输入所述新视图、预测的深度信息及稀疏深度图，并对稀疏深度图进行初步补全，得到初步深度图；6、s3、在细化网络中输入所述初步深度图及所述稀疏深度图，并进行深度信息的细化，得到稠密深度图；
7、s4、使用损失函数对整个网络的训练过程进行监督。
8、为了解决上述技术问题，本专利技术采用的另一技术方案为：
9、一种基于神经辐射场的分步式深度补全终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的一种基于神经辐射场的分步式深度补全方法中的步骤。
10、本专利技术的有益效果在于：提供一种基于神经辐射场的分步式深度补全方法及终端，通过考虑图像信息在引导式深度补全方法中的重要性，基于神经辐射场的网络预测出场景密度分布，有效解决物体轮廓深度不清晰的问题，再采用初补全网络及细化网络对渲染的新视图和预测的深度信及稀疏深度图的不同细节进行补全，得到质量更高的稠密深度图，最后结合损失函数对整个网络的训练过程进行监督，有效提高了自监督深度补全的精度和边界清晰度。
本文档来自技高网...
【技术保护点】
1.一种基于神经辐射场的分步式深度补全方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种基于神经辐射场的分步式深度补全方法，其特征在于，所述步骤S1具体为：
3.根据权利要求1所述的一种基于神经辐射场的分步式深度补全方法，其特征在于，所述步骤S1中对输入图像进行密度分布预测，具体为：
4.根据权利要求3所述的一种基于神经辐射场的分步式深度补全方法，其特征在于，所述步骤S1中对输入图像进行渲染，具体为：
5.根据权利要求4所述的一种基于神经辐射场的分步式深度补全方法，其特征在于，所述步骤S1中还包括：
6.根据权利要求2所述的一种基于神经辐射场的分步式深度补全方法，其特征在于，所述步骤S2具体为：
7.根据权利要求6所述的一种基于神经辐射场的分步式深度补全方法，其特征在于，所述步骤S3具体为：
8.根据权利要求7所述的一种基于神经辐射场的分步式深度补全方法，其特征在于，所述步骤S4具体为：
9.根据权利要求8所述的一种基于神经辐射场的分步式深度补全方法，其特征在于，所述光度差异损失函数L1损失的公式如下：
10.一种基于神经辐射场的分步式深度补全终端，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述权利要求1至9中任一权利要求所述的一种基于神经辐射场的分步式深度补全方法中的步骤。
...
【技术特征摘要】
1.一种基于神经辐射场的分步式深度补全方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种基于神经辐射场的分步式深度补全方法，其特征在于，所述步骤s1具体为：
3.根据权利要求1所述的一种基于神经辐射场的分步式深度补全方法，其特征在于，所述步骤s1中对输入图像进行密度分布预测，具体为：
4.根据权利要求3所述的一种基于神经辐射场的分步式深度补全方法，其特征在于，所述步骤s1中对输入图像进行渲染，具体为：
5.根据权利要求4所述的一种基于神经辐射场的分步式深度补全方法，其特征在于，所述步骤s1中还包括：
6.根据权利要求2所述的一种基于神经辐射场的分步式深度补全方法，其特征...
【专利技术属性】
技术研发人员：张进，陈素琼，
申请(专利权)人：福建高图信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。