一种利用双目相机和激光雷达深度图融合的方法技术

本发明专利技术公开了一种利用双目相机和激光雷达深度图融合的方法，属于图像处理和计算机视觉领域。利用严谨的配准策略完成传感器配准，从硬件的层次提升系统效率。利用GPU构建高性能运算平台，并构建高性能求解算法。系统容易构建，程序简单，易于实现；利用双目相机和激光雷达融合构建深度图，使得深度图更加稠密精确，而且算法鲁棒性强。

A method of depth map fusion using binocular camera and lidar

【技术实现步骤摘要】
一种利用双目相机和激光雷达深度图融合的方法
本专利技术属于图像处理和计算机视觉领域。利用双目相机和激光雷达的特性，相互弥补缺陷，使得深度图更精细更准确。
技术介绍
激光雷达是实现移动机器人和汽车自动驾驶环境感知的重要传感器之一,适用于复杂交通环境感知,它的优点所得到的深度图精度较高，它的缺点是分辨率低，获得深度图十分稀疏容易忽视小目标。双目立体视觉作为计算机视觉的重要分支,它被广泛应用于汽车无人驾驶技术当中,但是由于视觉、受光照等环境因素影响较大,导致了其所得深度图精度偏低。所以在移动机器人和汽车自动驾驶等领域中需要一种深度图融合方法，使得生成的深度图即精确又稠密。本专利技术面临两个难点，一是传感器位姿和时间戳标定，专利技术中使用深度图标定和最大点云配准两阶段方法解决，二是数据融合，在本专利技术中使用场景边缘以启发式的方法完成。
技术实现思路
本专利技术为了解决现有技术中存在的问题，提供了一种利用双目相机和激光雷达深度图融合的方法。具体技术方案的步骤如下：1)传感器配准使用双目相机和激光雷达同时拍摄不同姿态，本文档来自技高网...

【技术保护点】
1.一种利用双目相机和激光雷达深度图融合的方法，其特征在于，包括以下步骤：/n1)传感器配准/n使用双目相机和激光雷达同时拍摄不同姿态，不同位置的标定物；提取深度图边缘特征E，E是提取深度边缘特征的函数，使用特征进行匹配获得传感器位姿T

【技术特征摘要】
1.一种利用双目相机和激光雷达深度图融合的方法，其特征在于，包括以下步骤：
1)传感器配准
使用双目相机和激光雷达同时拍摄不同姿态，不同位置的标定物；提取深度图边缘特征E，E是提取深度边缘特征的函数，使用特征进行匹配获得传感器位姿T1，深度图转换得到的点云分别为Ps和Pl，使用最大一致集修正位姿T1得到位姿T；
使用双目相机和激光雷达同时拍摄，并保持传感器充分移动；获得的数据为双目相机深度图序列和激光雷达深度图序列，使用空域配准的方法分别计算两个序列的运动轨迹，并将轨迹分为n个时间段进行对齐，获得时间偏移t1,…,tn；取平均值作为两传感器的时间偏移；
2)边缘提取
两种传感器生成的配准后深度图分别为Ds和Dl，对应双目相机的场景图为Is；分别提取三张图像的边缘ED(Ds)、ED(Dl)和EI(Is)，ED和EI分别为提取深度图和场景图边缘的函数，得到的边缘图为和三者的稀疏程度由小到大为和边缘图中的边缘并不是密闭的，使用边缘修复函数Ep处理边缘图得到密闭的边缘图EDl、EDs和EIs；
3)深度图融合
首先结合EIs和Ds检查密闭边缘的深度情况，记录异常值的mask；其次结合mask，EDs和Ds使用EDs修复mask区域深度值；最后使用EDl、Ds和Dl使用密闭边缘中的Dl校正Ds；
算法中n为设定值。


2.根据权利要求1所述的利用双目相机和激光雷达深度图融合的方法，其特征在于，步骤1)传感器配准：
设由深度图分别为Ds和Dl，提取深度图边缘特征E，E是提取深度边缘特征的函数，使用Ds的特征{fs...

【专利技术属性】
技术研发人员：仲维，李豪杰，陈圣伦，王智慧，罗钟铉，刘日升，樊鑫，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21