一种融合激光雷达和深度相机点云的建图定位方法技术

本发明专利技术公开了一种融合激光雷达和深度相机点云的建图定位方法，包括以下步骤：S1，获取待处理的激光点云和深度相机点云；S2，进行外参标定，确定激光雷达与深度相机坐标轴关系，将深度相机点云转换到激光雷达坐标系；S3，对转换得到的激光雷达坐标系的激光雷达和深度相机点云按照激光雷达扫描线进行重新分割，并对深度相机点云按照激光雷达的点云格式进行转换，融合形成一帧相同格式的点云；S4，得到环境的点云图；S5，得到四足机器人在环境中的绝对位姿，融合IMU传感器和足式里程计得到四足机器人在运动过程中的位姿。本发明专利技术可以得到准确的定位信息，可以适应换流站的复杂环境；使用的计算资源少，可以将算法搭载在一般的计算平台上；重复定位高。重复定位高。重复定位高。

【技术实现步骤摘要】
一种融合激光雷达和深度相机点云的建图定位方法


[0001]本专利技术属于机器人定位
，尤其是涉及一种融合激光雷达和深度相机点云的建图定位方法。

技术介绍

[0002]由于人工智能方面研究的深入与突破，智能移动机器人在一般的应用领域已经较为广泛。但换流站环境复杂恶劣，人们对换流站巡检机器人要求更加严苛，巡检机器人部署在换流站有许多的难点。而自主建图与定位技术是解决换流站智能巡检的关键。
[0003]通常做法是在机器人上同时设置激光雷达和摄像头，利用激光雷达和摄像头同时实现定位作用，但是激光雷达只能精确定位较远距离的区域，如超过2米之外80米之内的距离，摄像头只能精确定位近距离的区域，如超过0.1米之外2米之内的距离。为了得到远距离和近距离的整体精确定位，需要将激光雷达和摄像头获取的定位信息融合。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供一种可以将深度相机获取的点云信息换算呈激光雷达线，将激光雷达和深度相机获取的定位信息融合，以获取精确的整体定位信息的融合激光雷达和深度相机点云的建图定位方法。
[0005]本专利技术解决其技术问题所采用的技术方案是：一种融合激光雷达和深度相机点云的建图定位方法，包括以下步骤：
[0006]S1，获取待处理的激光点云和深度相机点云，包括其属于同一空间范围和不属于同一空间范围的点云；
[0007]S2，对激光雷达和深度相机进行外参标定，确定激光雷达与深度相机坐标轴关系，将深度相机点云转换到激光雷达坐标系；
[0008]S3，根据深度相机与激光雷达的视场角，对转换得到的激光雷达坐标系的激光雷达和深度相机点云按照激光雷达扫描线进行重新分割，并对深度相机点云按照激光雷达的点云格式进行转换，融合形成一帧相同格式的点云；
[0009]S4，基于S3中融合后的点云与IMU传感器数据融合，进行环境的建图得到环境的点云图；
[0010]S5，基于S3中融合的点云匹配S4中建立的点云图得到四足机器人在环境中的绝对位姿，融合IMU传感器和足式里程计得到四足机器人在运动过程中的位姿。
[0011]进一步的，所述S1步骤包括以下子步骤，
[0012]S11，设置使采集激光雷达点云与采集深度相机点云时间进行同步的装置；
[0013]S12，滤除深度相机设定范围内测量不准确的深度点云；
[0014]S13，滤除激光雷达在设定范围内测量不准确的激光雷达点云，以及打在安装激光雷达设备上的点云；
[0015]S14，滤除激光雷达与深度相机噪点。
[0016]进一步的，所述S2步骤包括以下子步骤，
[0017]S21，标定所述激光雷达和所述深度相机之间的外参，包括深度相机到激光雷达坐标系的旋转矩阵R和平移向量t；准备好黑白棋盘格，采集若干张深度相机和激光雷达均能观察到完整棋盘格的相机图像和激光雷达点云，将其按时间近似同步进行配对，导入Matlab中的Lidar Toolbox工具箱中，让工具箱检测图像中的棋盘格，在激光雷达点云帧中手动指定落在棋盘格上的点云，使工具箱进行标定，得到深度相机到激光雷达坐标系的旋转矩阵R和平移向量t；
[0018]S22，构建深度相机坐标系到激光雷达坐标系的转换函数，该转换函数为，
[0019][0020]其中，X
l
，Y
l
，Z
l
表示激光雷达坐标系的三个坐标轴，X
l
，Y
l
，Zl表示深度相机坐标系；
[0021]S23，根据步骤S21中标定得到的深度相机到激光雷达坐标系的旋转矩阵R和平移向量t以及步骤S22中的转换函数，将深度相机点云转换至激光雷达坐标系；
[0022]S24，根据激光雷达与深度相机的视场角，确定获取得到的深度相机与激光雷达属于同一空间范围的点云与不属于同一空间范围的点云。
[0023]进一步的，所述S3步骤包括以下子步骤，
[0024]S31，根据激光雷达与各个深度相机融合的视场角，按照激光雷达扫描线的概念以激光雷达垂直角分辨率对激光雷达点云和各个深度相机点云进行线束划分；
[0025]S32，对步骤S31中重新划分的深度相机点云转化为激光雷达格式点云，再融合激光雷达点云，形成相同格式的融合点云进行输出。
[0026]进一步的，所述S31步骤包括以下子步骤，
[0027]S311，根据步骤S24中确定的深度相机与激光雷达点云属于同一空间范围的点云，以深度相机点云补足激光雷达线束之间空位点，并重新计算属于该线束的点云；
[0028]S312，根据步骤S24中确定的深度相机与激光雷达点云不属于同一空间范围的点云，对于只含有激光雷达点云空间保留原有的线束定义，对于只含有深度相机点云的空间以激光雷达角分辨率向上以及向下扩充线束，在线束周围的点云即认定为该线束点云。
[0029]进一步的，所述S311步骤中，对于同一空间范围内的相机点云和激光雷达点云线束的分割，根据激光雷达分辨率，在激光雷达线束正负二分之一激光雷达角分辨率的相机点云划分为该线束点云。
[0030]进一步的，所述S312步骤中，对于只含有深度相机点云的空间，根据激光雷达分辨率，以扩充线束正负二分之一激光雷达角分辨率的相机点云划分为该线束点云。
[0031]进一步的，所述S32步骤包括以下子步骤，
[0032]S321，根据步骤S31对激光雷达和相机点云重新划分线束之后，按照所划分的线束确定以及分配每个激光点以及深度相机点的线束信息；
[0033]S322，增加深度相机点云反射强度信息；
[0034]S323，以激光雷达点云发布的时间戳作为融合点云的时间戳。
[0035]进一步的，所述S322步骤中，对于和激光雷达点云同一空间范围内的深度相机点云，按据深度相机最近激光雷达点的反射强度确定反射强度；对于和激光雷达点云不同空
间范围内的深度相机点云，在激光雷达区域下方的相机点云，以激光雷达照射地面的反射强度统一为深度相机点云分配反射强度，在激光雷达区域上方的相机点云，以激光雷达照射白墙的反射强度统一为深度相机点云分配反射强度信息。
[0036]进一步的，所述S4步骤包括以下子步骤，
[0037]S41，对融合点云进行预处理，利用惯导辅助融合点云的非线性运动畸变去除，对每一帧内的点云进行补偿校正；
[0038]S42，对融合点云进行特征提取，通过提取融合点云的面特征和线特征，其中面特征又包括地面特征和非地面特征，过滤非特征点数据；
[0039]S43，通过NDT匹配方法对点云进行帧图匹配，得到四足机器人两帧点云之间的运动位姿信息，初始点云图是第一帧融合点云数据，直到点云关键帧累积到五帧再逐渐淘汰前面的点云帧，通过惯导积分的位姿变化当超过某一阈值时认定点云数据为关键帧点云数据；其中NDT假设点云服从正态分布，假设当前扫描得到的点云为用空间转换函数来表示使用位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合激光雷达和深度相机点云的建图定位方法，其特征在于，包括以下步骤：S1，获取待处理的激光点云和深度相机点云，包括其属于同一空间范围和不属于同一空间范围的点云；S2，对激光雷达和深度相机进行外参标定，确定激光雷达与深度相机坐标轴关系，将深度相机点云转换到激光雷达坐标系；S3，根据深度相机与激光雷达的视场角，对转换得到的激光雷达坐标系的激光雷达和深度相机点云按照激光雷达扫描线进行重新分割，并对深度相机点云按照激光雷达的点云格式进行转换，融合形成一帧相同格式的点云；S4，基于S3中融合后的点云与IMU传感器数据融合，进行环境的建图得到环境的点云图；S5，基于S3中融合的点云匹配S4中建立的点云图得到四足机器人在环境中的绝对位姿，融合IMU传感器和足式里程计得到四足机器人在运动过程中的位姿。2.根据权利要求1所述的融合激光雷达和深度相机点云的建图定位方法，其特征在于：所述S1步骤包括以下子步骤，S11，设置使采集激光雷达点云与采集深度相机点云时间进行同步的装置；S12，滤除深度相机设定范围内测量不准确的深度点云；S13，滤除激光雷达在设定范围内测量不准确的激光雷达点云，以及打在安装激光雷达设备上的点云；S14，滤除激光雷达与深度相机噪点。3.根据权利要求1所述的融合激光雷达和深度相机点云的建图定位方法，其特征在于：所述S2步骤包括以下子步骤，S21，标定所述激光雷达和所述深度相机之间的外参，包括深度相机到激光雷达坐标系的旋转矩阵R和平移向量t；准备好黑白棋盘格，采集若干张深度相机和激光雷达均能观察到完整棋盘格的相机图像和激光雷达点云，将其按时间近似同步进行配对，导入Matlab中的Lidar Toolbox工具箱中，让工具箱检测图像中的棋盘格，在激光雷达点云帧中手动指定落在棋盘格上的点云，使工具箱进行标定，得到深度相机到激光雷达坐标系的旋转矩阵R和平移向量t；S22，构建深度相机坐标系到激光雷达坐标系的转换函数，该转换函数为，其中，X
l
，Y
l
，Z
l
表示激光雷达坐标系的三个坐标轴，X
c
，Y
c
，Z
c
表示深度相机坐标系；S23，根据步骤S21中标定得到的深度相机到激光雷达坐标系的旋转矩阵R和平移向量t以及步骤S22中的转换函数，将深度相机点云转换至激光雷达坐标系；S24，根据激光雷达与深度相机的视场角，确定获取得到的深度相机与激光雷达属于同一空间范围的点云与不属于同一空间范围的点云。4.根据权利要求3所述的融合激光雷达和深度相机点云的建图定位方法，其特征在于：所述S3步骤包括以下子步骤，S31，根据激光雷达与各个深度相机融合的视场角，按照激光雷达扫描线的概念以激光
雷达垂直角分辨率对激光雷达点云和各个深度相机点云进行线束划分；S32，对步骤S31中重新划分的深度相机点云转化为激光雷达格式点云，再融合激光雷达点云，形成相同格式的融合点云进行输出。5.根据权利要求4所述的融合激光雷达和深度相机点云的建图定位方法，其特征在于：所述S31步骤包括以下子步骤，S311，根据步骤S24中确定的深度相机与激光雷达点云属于同一空间范围的点云，以深度相机点云补足激光雷达线束之间空位点，并重新计算属于该线束的点云；S312，根据步骤S24中确定的深度相机与激光雷达点云不属于同一空间范围的点云，对于只含有激光雷达点云...

【专利技术属性】
技术研发人员：胡雪亮，贺晓伟，李超，朱秋国，
申请(专利权)人：杭州云深处科技有限公司，
类型：发明
国别省市：