基于卷积神经网络的全景深度估计方法技术

本发明专利技术涉及一种基于卷积神经网络的全景深度估计方法，包括以下步骤：步骤S1:采集室外环境的RGB图像，深度图像，点云数据，并根据柱面投影原理将RGB图像以及深度图像拼接成为全景图像；步骤S2:构建卷积神经网络模型，并基于的得到全景图像训练，得到训练后的卷积神经网络模型；步骤S3:将待测的全景图像输入训练后的卷积神经网络模型，获得密集的全景深度预测图像。本发明专利技术能够调整优化全景图像的局部细节，从而估计出密集而且准确的全景深度图像。

【技术实现步骤摘要】
基于卷积神经网络的全景深度估计方法
本专利技术属于图像识别和人工智能领域，具体涉及一种基于卷积神经网络的全景深度估计方法。
技术介绍
深度估计是计算机视觉中的基本任务之一。随着计算机技术的发展，深度学习在计算机视觉领域取得了一系列突破性进展。由于其在机器人技术和计算机视觉的众多任务(例如自动驾驶，定位和地图绘制，路径规划和3D重建)中起着至关重要的作用，因此人们一直希望获得精确的3D感知。目前，已经提出了各种技术来获得深度估计，但是各种技术都不可避免的具有一些缺陷。例如，RGB-D相机仅适用于短距离深度采集；3DLIDAR仅提供稀疏的点云深度信息；立体相机无法在外观均匀或照明变化大的区域中产生可靠的深度估计。而且普遍存在的是，无论何种相机其深度估计的视场角度都受相机视场角度大小的限制。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于卷积神经网络的全景深度估计方法，能够通过级联融合全景图像与LIDAR深度信息，并根据所提出的PDCBN(全景深度条件正则化)网络层，调整优化全景图像的局部细节，从而估计出密集而且准确的全景深度图像。为实现上述目的，本专利技术采用如下技术方案：一种基于卷积神经网络的全景深度估计方法，包括以下步骤：步骤S1:采集室外环境的RGB图像，深度图像，点云数据，并根据柱面投影原理将RGB图像以及深度图像拼接成为全景图像；步骤S2:构建卷积神经网络模型，并基于的得到全景图像训练，得到训练后的卷积神经网络模型；步骤S3:将待测的全景图像输入训练后的卷积神经网络模型，获得密集的全景深度预测图像。进一步的，所述步骤S1采用开放的城市模拟器Carla采集室外环境的RGB图像，深度图像，点云数据。进一步的，所述步骤S1具体为：步骤1-1：在开放的城市模拟器Carla的数据采集车上装载若干个RGB相机，若干个深度相机，一个64线LIDAR，深度相机与RGB相机对应，形成360°全景视野，并在Carla中操控数据采集车，采集室外环境下的RGB图像，深度图像，点云数据；步骤1-2：基于柱面投影原理，将每张RGB图像，深度图像柱面投影，根据柱面投影后的重合区域，缝合成为全景图像；步骤1-3:将缝合的图像裁剪成预设比例的全景图像。进一步的，所述步骤S1-2具体为：设定单张图像为四边形ABCD，表示待处理平面，柱面投影之后，变成曲面EFGE1F1G1；设原图像宽为w,高为h，相机视场角度为α，则相机焦距f表示为：f＝w/(2*tan(α/2))(1)图像上某像素点位置为(x,y)，则柱面投影后的像素点坐标为(x1,y1)：图像柱面投影后，根据单个相机与左右相邻相机重合视场角度θ，缝合成全景图像。进一步的，所述步骤S2具体为：步骤2-1:构建待训练的卷积神经网络模型，以全景RGB图像和从LIDAR投影的稀疏全景深度图像作为输入；步骤2-2:使用反向传播算法计算损失函数损失值，通过迭代计算减小误差进行参数学习，使预测值逼近真实值，获得训练后的卷积神经网络模型。进一步的，所述卷积神经网络模型每一层网络依次执行卷积、全景条件正则化、激活、池化操作，使用ReLU激活函数:设输入的融合特征尺寸大小为C×H×W，最小批次λ＝[Fi]，全景深度条件正则化网络层定义为：其中，ε是数值稳定性小常数，αi,c,h,w,βi,c,h,w是可学习参数。设定LIDAR深度信息为函数由于产生的新参数依赖于LIDAR深度信息，因此，网络层命名为PDCBN；在不同位置具有不同的像素值，在映射的过程中应该按照像素依次映射；设定sc与yc函数：在函数sc与yc中，给定全景LIDAR深度图像中的一点如果该点从LIDAR投影到全景图像中存在，那么认定该点是有效的，通过PDCBN网络层来增强或者抑制的深度值；反之，该点是无效点，则使用普通的BN网络层处理。进一步的，所述卷积神经网络模型使用深度真实值dtru与模型对像素预测值dpre的绝对误差来训练模型，并根据LIDAR的稀疏深度真实值，对有效像素N上的损失进行平均，损失函数定义为：本专利技术与现有技术相比具有以下有益效果：本专利技术能够通过级联融合全景图像与LIDAR深度信息，并根据所提出的PDCBN(全景深度条件正则化)网络层，调整优化全景图像的局部细节，从而估计出密集而且准确的全景深度图像。附图说明图1是本专利技术实施例整体流程示意图；图2是本专利技术中柱面投影原理示意图；图3是本专利技术中柱面投影示意图：(a)是柱面投影的俯视图，(b)是柱面投影的侧视图；图4是本专利技术中柱面投影后全景图像缝合效果示例：(a)是全景RGB图像，(b)是真实的全景深度图像；图5是本专利技术中卷积神经网络结构示意图；图6是本专利技术全景深度估计定性结果示例，从上到下依次为全景RGB图像，从LIDAR投影的稀疏全景深度图像，估计的全景深度图像，真实的全景深度图像，全景深度误差图像。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。请参照图1，本专利技术提供一种基于卷积神经网络的全景深度估计方法，包括如下步骤：步骤S1：通过开放的城市模拟器Carla采集室外环境的RGB图像，深度图像，点云数据，根据柱面投影原理将RGB图像以及深度图像拼接成为全景图像，生成的数据集划分为训练集和测试集(90/10％)；步骤S2：构建待训练的卷积神经网络模型，以全景RGB图像和从LIDAR投影的稀疏全景深度图像作为输入，使用反向传播算法计算损失函数损失值，通过迭代计算减小误差进行参数学习，使预测值逼近真实值，从而获得卷积神经网络的最佳权重模型；步骤S3：加载步骤S2训练好的权重模型，将划分的全景测试集输入用于全景深度估计的卷积神经网络模型，获得密集的全景深度预测图像。在本实施例中，步骤S1具体处理过程如下：1)在开放的城市模拟器Carla的数据采集车上装载5个RGB相机，5个深度相机，一个64线LIDAR，深度相机与RGB相机对应，视场角为90°，每个相机旋转72°安装，形成360°全景视野。然后在Carla中操控数据采集车，采集室外环境下的RGB图像，深度图像，点云数据；2)如图2所示是图像柱面投影原理的示意图。图像平面为四边形ABCD，并表示待处理平面，柱面投影之后，变成曲面EFGE1F1G1。假设图像上某像素点位置为(x,y)，则柱面投影后的像素点位置为(x1,y1)；图3(a)所示的是柱面投影原理的俯视图，可以推出该像素点x值的投影变化过程：其中，w表示图像的宽度，即线段AB的长度，θ表示Ox与线段Ow的夹角，f表示相机的焦距，α表示相机视场角度，大小为90°，w1表示柱面投影变换后图像的宽度，x1表示x柱面投影后的位置本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的全景深度估计方法，其特征在于，包括以下步骤：/n步骤S1:采集室外环境的RGB图像，深度图像，点云数据，并根据柱面投影原理将RGB图像以及深度图像拼接成为全景图像；/n步骤S2:构建卷积神经网络模型，并基于的得到全景图像训练，得到训练后的卷积神经网络模型；/n步骤S3:将待测的全景图像输入训练后的卷积神经网络模型，获得密集的全景深度预测图像。/n

【技术特征摘要】
1.一种基于卷积神经网络的全景深度估计方法，其特征在于，包括以下步骤：
步骤S1:采集室外环境的RGB图像，深度图像，点云数据，并根据柱面投影原理将RGB图像以及深度图像拼接成为全景图像；
步骤S2:构建卷积神经网络模型，并基于的得到全景图像训练，得到训练后的卷积神经网络模型；
步骤S3:将待测的全景图像输入训练后的卷积神经网络模型，获得密集的全景深度预测图像。


2.根据权利要求1所述的基于卷积神经网络的全景深度估计方法，其特征在于，所述步骤S1采用开放的城市模拟器Carla采集室外环境的RGB图像，深度图像，点云数据。


3.根据权利要求2所述的基于卷积神经网络的全景深度估计方法，其特征在于，所述步骤S1具体为：
步骤1-1：在开放的城市模拟器Carla的数据采集车上装载若干个RGB相机，若干个深度相机，一个64线LIDAR，深度相机与RGB相机对应，形成360°全景视野，并在Carla中操控数据采集车，采集室外环境下的RGB图像，深度图像，点云数据；
步骤1-2：基于柱面投影原理，将每张RGB图像，深度图像柱面投影，根据柱面投影后的重合区域，缝合成为全景图像；
步骤1-3:将缝合的图像裁剪成预设比例的全景图像。


4.根据权利要求3所述的基于卷积神经网络的全景深度估计方法，其特征在于，所述步骤S1-2具体为：设定单张图像为四边形ABCD，表示待处理平面，柱面投影之后，变成曲面EFGE1F1G1；
设原图像宽为w,高为h，相机视场角度为α，则相机焦距f表示为：
f＝w/(2*tan(α/2))(1)
图像上某像素点位置为(x,y)，则柱面投影后的像素点坐标为(x1,y1)：






图像柱面投影后，根据单...

【专利技术属性】
技术研发人员：何炳蔚，邓清康，胡誉生，张立伟，陈彦杰，林立雄，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35