应用于单线激光雷达的深度补全方法技术

一种应用于单线激光雷达的深度补全方法，对KITTI 64线深度补全数据集处理得到单线深度补全数据集，并使用单线深度补全数据集训练双分支深度学习网络后，以RGB图与对齐过的单线深度图为神经网络的输入便能得到稠密深度图。本发明专利技术通过单线激光雷达来替换64线激光雷达实现深度补全，显著降低稠密深度图的获取成本，不仅能应用于单线激光雷达，同时可以应用于任意n线(n≤64)激光雷达，如4线激光雷达、16线激光雷达等。线激光雷达等。线激光雷达等。

【技术实现步骤摘要】
应用于单线激光雷达的深度补全方法


[0001]本专利技术涉及的是一种图像处理领域的技术，具体是一种应用于单线激光雷达的深度补全方法。

技术介绍

[0002]近年来，准确而稠密的深度图在各类任务中都变得愈发重要，例如在增强现实、无人机、机器人控制和自动驾驶等领域中。然而在室外环境中，如近红外、结构光等传感器都将因为室外环境干扰强和距离远而失效。而激光雷达凭借其抗干扰性强与测量距离远成为目前室外环境的主流测量手段。但激光雷达有限的扫描线将导致其获取深度图的高稀疏性，以目前的Velodyne HDL
‑
64E(64线激光雷达)为例，其获取深度图中的有效值大约只有4％。如此稀疏的深度图对实际应用而言是远远不够。所以如何凭借现有激光雷达的稀疏深度图来生成准确而稠密的深度图就变成目前一大研究热点。
[0003]现有技术在室外环境中，只能获取稀疏的深度图，目前的主流方案都是使用64线激光雷达配合RGB相机来获取数据，之后再使用二者的数据来生成稠密深度图，即深度补全。64线激光雷达代表此类激光雷达使用64条扫描线。近年来随着深度学习的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于单线激光雷达的深度补全方法，其特征在于，对KITTI 64线深度补全数据集处理得到单线深度补全数据集，并使用单线深度补全数据集训练双分支深度学习网络后，以对齐过的单线深度图与RGB图为神经网络的输入便能得到稠密深度图；所述的处理是指：将现有的64线KITTI深度补全数据集中的64线稀疏深度图转换成单线深度图，从而得到单线深度补全数据集；所述的双分支深度学习网络包括全局分支和局部分支，其中：全局分支利用RGB图像中的全局语义信息辅助预测物体的边界以找到深度相似的区域；局部分支聚焦于深度图中的有效值区域并预测有效值区域周围的深度的同时，利用全局分支提取的全局特征来修正稀疏深度图的内在误差；所述的双分支深度学习网络，通过用于单线深度补全的组合损失函数训练，该组合损失函数由用于实现像素级约束的均方误差损失函数和用于实现三维几何约束的虚拟法线误差损失函数组成。2.根据权利要求1所述的应用于单线激光雷达的深度补全方法，其特征是，所述的组合损失函数为L
Final
＝L
MSE
+λL
VN
，其中：λ为权重参数，用于实现像素级约束的均方误差损失函数用于实现三维几何约束的虚拟法线误差损失函数N
p
为真值深度图中有效深度值的像素数，和分别为预测深度图和真值深度图i处的深度值；N
n
为随机采样出的虚拟平面数，和分别为预测深度图和真值深度图中的第i个虚拟平面的虚拟法线。3.根据权利要求2所述的应用于单线激光雷达的深度补全方法，其特征是，所述的权重参数λ用来平衡二者数量级，取100。4.根据权利要求1所述的应用于单线激光雷达的深度补全方法，其特征是，所述的64线深度补全数据集中每组数据包括：RGB图、对齐的64线稀疏深度图以及半稠密深度图；所述的转换包括：
①
将64线稀疏深度图转换为点云图；
②
计算点云图中每个三维点的垂直角
③
以0.4
°
为间隔将每个三维点的垂直角划分为64个级别，从而将每个三维点分配到对应的扫描线上；
④
直接选取中间的扫描线生成单线深度图。5.根据权利要求1所述的应用于单线激光雷达的深度补全...

【专利技术属性】
技术研发人员：陆恒杰，徐树公，
申请(专利权)人：上海大学，
类型：发明
国别省市：