基于卷积神经网络的全景深度估计方法技术

本发明专利技术涉及一种基于卷积神经网络的全景深度估计方法，包括以下步骤：步骤S1:采集室外环境的RGB图像，深度图像，点云数据，并根据柱面投影原理将RGB图像以及深度图像拼接成为全景图像；步骤S2:构建卷积神经网络模型，并基于的得到全景图像训练，得到训练后的卷积神经网络模型；步骤S3:将待测的全景图像输入训练后的卷积神经网络模型，获得密集的全景深度预测图像。本发明专利技术能够调整优化全景图像的局部细节，从而估计出密集而且准确的全景深度图像。

【技术实现步骤摘要】
基于卷积神经网络的全景深度估计方法
本专利技术属于图像识别和人工智能领域，具体涉及一种基于卷积神经网络的全景深度估计方法。
技术介绍
深度估计是计算机视觉中的基本任务之一。随着计算机技术的发展，深度学习在计算机视觉领域取得了一系列突破性进展。由于其在机器人技术和计算机视觉的众多任务(例如自动驾驶，定位和地图绘制，路径规划和3D重建)中起着至关重要的作用，因此人们一直希望获得精确的3D感知。目前，已经提出了各种技术来获得深度估计，但是各种技术都不可避免的具有一些缺陷。例如，RGB-D相机仅适用于短距离深度采集；3DLIDAR仅提供稀疏的点云深度信息；立体相机无法在外观均匀或照明变化大的区域中产生可靠的深度估计。而且普遍存在的是，无论何种相机其深度估计的视场角度都受相机视场角度大小的限制。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于卷积神经网络的全景深度估计方法，能够通过级联融合全景图像与LIDAR深度信息，并根据所提出的PDCBN(全景深度条件正则化)网络层，调整优化全景图像的局部细节，从而估计出密集而且准确的全本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的全景深度估计方法，其特征在于，包括以下步骤：/n步骤S1:采集室外环境的RGB图像，深度图像，点云数据，并根据柱面投影原理将RGB图像以及深度图像拼接成为全景图像；/n步骤S2:构建卷积神经网络模型，并基于的得到全景图像训练，得到训练后的卷积神经网络模型；/n步骤S3:将待测的全景图像输入训练后的卷积神经网络模型，获得密集的全景深度预测图像。/n

【技术特征摘要】
1.一种基于卷积神经网络的全景深度估计方法，其特征在于，包括以下步骤：
步骤S1:采集室外环境的RGB图像，深度图像，点云数据，并根据柱面投影原理将RGB图像以及深度图像拼接成为全景图像；
步骤S2:构建卷积神经网络模型，并基于的得到全景图像训练，得到训练后的卷积神经网络模型；
步骤S3:将待测的全景图像输入训练后的卷积神经网络模型，获得密集的全景深度预测图像。


2.根据权利要求1所述的基于卷积神经网络的全景深度估计方法，其特征在于，所述步骤S1采用开放的城市模拟器Carla采集室外环境的RGB图像，深度图像，点云数据。


3.根据权利要求2所述的基于卷积神经网络的全景深度估计方法，其特征在于，所述步骤S1具体为：
步骤1-1：在开放的城市模拟器Carla的数据采集车上装载若干个RGB相机，若干个深度相机，一个64线LIDAR，深度相机与RGB相机对应，形成360°全景视野，并在Carla中操控数据采集车，采集室外环境下的RGB图像，深度图像，点云数据；
步骤1-2：基于柱面投影原理，将每张RGB图像，深度图像柱面投影，根据柱面投影后的重合区域，缝合成为全景图像；
步骤1-3:将缝合的图像裁剪成预设比例的全景图像。


4.根据权利要求3所述的基于卷积神经网络的全景深度估计方法，其特征在于，所述步骤S1-2具体为：设定单张图像为四边形ABCD，表示待处理平面，柱面投影之后，变成曲面EFGE1F1G1；
设原图像宽为w,高为h，相机视场角度为α，则相机焦距f表示为：
f＝w/(2*tan(α/2))(1)
图像上某像素点位置为(x,y)，则柱面投影后的像素点坐标为(x1,y1)：






图像柱面投影后，根据单...

【专利技术属性】
技术研发人员：何炳蔚，邓清康，胡誉生，张立伟，陈彦杰，林立雄，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35