基于全景相机和激光雷达融合生成纹理信息点云地图方法技术

本发明专利技术公开了一种基于全景相机和激光雷达融合生成纹理信息点云地图方法，首先根据实时采集得到的每一帧的激光点云数据和每一帧的

【技术实现步骤摘要】
基于全景相机和激光雷达融合生成纹理信息点云地图方法


[0001]本专利技术涉及点云建图领域，尤其涉及一种基于全景相机和激光雷达融合生成纹理信息点云地图方法
。

技术介绍

[0002]三维激光雷达作为一个高精度测量仪器，可以提供周围环境的几何特征，同时受光照等环境因素很小，常常用于无人车
、
无人机以及虚拟现实等领域
。
使用激光雷达可以快速并准确的获取周围环境的深度信息，使用激光雷达配合
SLAM
技术可以很好的构建环境三维地图，可以辅助测绘，地质灾害预测等户外工作，极大提高户外作业的安全性以及效率
。
但是激光雷达常常获取周围环境强度信息而不是纹理信息，最终得到的点云地图上纹理信息较少
。
因此，时常会使用相机对点云地图进行赋色，使地图能够得到颜色纹理信息，更直观的反应周围环境信息；
[0003]传统的点云地图建图方法中点云赋色通常使用
slam
系统，
slam
系统主要使用单目相机进行赋色，使用单目相机一次只能对单边环境进行赋色，如图
10、
图
11、
图
12
及图
13
所示，使用
slam
系统进行赋色效率不高，并且单目相机提供的约束较少，从而导致
slam
系统鲁棒性相对较低
。

技术实现思路

[0004]本专利技术的目的在于提供一种基于全景相机和激光雷达融合生成纹理信息点云地图方法，解决了现有技术中指出的上述技术问题
。
[0005]本专利技术提出了一种基于全景相机和激光雷达融合生成纹理信息点云地图方法，包括如下操作步骤：
[0006]根据实时采集得到的每一帧的激光点云数据和每一帧的
IMU
数据通过迭代误差扩展卡尔曼滤波算法融合解算得到
IMU
位姿之后，将所述激光点云数据根据通过根据所述
IMU
位姿和激光雷达外参
、IMU
外参计算得到的激光雷达位姿进行拼接生成点云地图；
[0007]根据实时获取得到的每一帧的双目鱼眼图像使用相机畸变模型对双目鱼眼相机进行标定得到所述双目鱼眼相机的内参及双目鱼眼相机的外参；
[0008]根据所述双目鱼眼相机的内参对双目鱼眼图像进行校正得到针孔相机模型图像后将所述激光点云数据进行投影，获取每个激光点云数据对应的投影点；根据所述投影点将所述激光点云数据进行分类得到激光点对；
[0009]根据所述激光点对以及所述激光雷达位姿进行视觉里程估计，得到视觉里程计的最优状态信息；
[0010]根据所述最优状态信息及所述针孔相机模型图像对所述点云地图中的各个所述激光点云数据进行着色，得到各个所述激光点云数据对应的颜色信息；
[0011]所述激光点云数据对应的颜色信息为：
[0012][0013][0014][0015]式中，和
c
s
表示赋色前后的地图点云投影点；
[0016]γ
s
表示观测投影点；
[0017]以及分别代表赋色前后地图点协方差以及观测投影点协方差；
[0018]σ
s
表示跟随时间变化的协方差变化
。
[0019]较佳的，所述双目鱼眼相机包括左鱼眼相机与右鱼眼相机；
[0020]较佳的，所述双目鱼眼相机的内参为相机畸变参数；
[0021]较佳的，所述双目鱼眼相机的外参为相机的坐标转换矩阵
[0022]较佳的，所述根据实时采集得到的每一帧的激光点云数据和每一帧的
IMU
数据通过迭代误差扩展卡尔曼滤波算法融合解算得到
IMU
位姿，包括如下操作步骤：
[0023]基于所述
IMU
数据对所述激光点云数据分别进行运动畸变去除操作，得到多个目标激光点云数据；基于所有所述目标激光点云数据构建目标激光点云数据集合；
[0024]根据所述目标激光点云数据集合获取每一帧对应的点云数据集合；遍历各帧对应的点云数据集合，根据各个所述目标激光点云数据的坐标，计算获取平面距离中距离最短对应的四个对照平面点构建对照平面；并获取所述对照平面的中心点
pj
；对当前所述帧
k
中的各个平面点
pk
构建总激光点云残差约束
r
；
[0025]所述总激光点云残差约束
r
表示为：
[0026]r
＝
u
T
(p
k
‑
p
j
)
；
[0027]式中，
u
T
表示拟合平面的法向量；
[0028]p
k
为当前帧
k
中的一个平面点；
[0029]p
j
为对照平面的中心点
。
[0030]根据当前帧
k
的第一
IMU
数据及下一帧
k+1
的第二
IMU
数据进行积分解算，得到在第
k+1
帧的
IMU
位姿信息
。
[0031]较佳的，所述第
k+1
帧的
IMU
位姿信息包括第
k+1
帧的
IMU
姿态
W
R
Ik+1
、
第
k+1
帧的
IMU
速度
w
v
k+1
、
第
k+1
帧的
IMU
位置
w
p
k+1
；
[0032]其中，所述第
k+1
帧的
IMU
姿态
W
R
Ik+1
、
第
k+1
帧的
IMU
速度
w
v
k+1
、
第
k+1
帧的
IMU
位置
w
p
k+1
分别表示为：
[0033][0034][0035][0036]式中，代表
k+1
帧的
IMU
姿态信息；表示
k
帧的
IMU
姿态信息；表示
k
帧
IMU
的角速度信息；
b
gk
表示陀螺仪随机游走误差信息；表示陀螺仪测量白噪声误差信息；
w
v
k+1
表示第
k+1
帧的
IMU
速度信息；
w
v...

【技术保护点】

【技术特征摘要】
1.
一种基于全景相机和激光雷达融合生成纹理信息点云地图方法，其特征在于，包括如下操作步骤：根据实时采集得到的每一帧的激光点云数据和每一帧的
IMU
数据通过迭代误差扩展卡尔曼滤波算法融合解算得到
IMU
位姿之后，将所述激光点云数据根据通过根据所述
IMU
位姿和激光雷达外参
、IMU
外参计算得到的激光雷达位姿进行拼接生成点云地图；根据实时获取得到的每一帧的双目鱼眼图像使用相机畸变模型对双目鱼眼相机进行标定得到所述双目鱼眼相机的内参及双目鱼眼相机的外参；根据所述双目鱼眼相机的内参对双目鱼眼图像进行校正得到针孔相机模型图像后将所述激光点云数据进行投影，获取每个激光点云数据对应的投影点；根据所述投影点将所述激光点云数据进行分类得到激光点对；根据所述激光点对以及所述激光雷达位姿进行视觉里程估计，得到视觉里程计的最优状态信息；根据所述最优状态信息及所述针孔相机模型图像对所述点云地图中的各个所述激光点云数据进行着色，得到各个所述激光点云数据对应的颜色信息
。2.
根据权利要求1所述的一种基于全景相机和激光雷达融合生成纹理信息点云地图方法，其特征在于，所述双目鱼眼相机包括左鱼眼相机与右鱼眼相机；所述双目鱼眼相机的内参为相机畸变参数；所述双目鱼眼相机的外参为相机的坐标转换矩阵
。3.
根据权利要求2所述的一种基于全景相机和激光雷达融合生成纹理信息点云地图方法，其特征在于，所述根据实时采集得到的每一帧的激光点云数据和每一帧的
IMU
数据通过迭代误差扩展卡尔曼滤波算法融合解算得到
IMU
位姿，包括如下操作步骤：基于所述
IMU
数据对所述激光点云数据分别进行运动畸变去除操作，得到多个目标激光点云数据；基于所有所述目标激光点云数据构建目标激光点云数据集合；根据所述目标激光点云数据集合获取每一帧对应的点云数据集合；遍历各帧对应的点云数据集合，根据各个所述目标激光点云数据的坐标，计算获取平面距离中距离最短对应的四个对照平面点构建对照平面；并获取所述对照平面的中心点
pj
；对当前所述帧
k
中的各个平面点
pk
构建总激光点云残差约束
r
；根据当前帧
k
的第一
IMU
数据及下一帧
k+1
的第二
IMU
数据进行积分解算，得到在第
k+1
帧的
IMU
位姿信息
。4.
根据权利要求3所述的一种基于全景相机和激光雷达融合生成纹理信息点云地图方法，其特征在于，所述第
k+1
帧的
IMU
位姿信息包括第
k+1
帧的
IMU
姿态第
k+1
帧的
IMU
速度
w
v
k+1
、
第
k+1
帧的
IMU
位置
w
p
k+1
。5.
根据权利要求4所述的一种基于全景相机和激光雷达融合生成纹理信息点云地图方法，其特征在于，所述平面距离为当前帧
k
中的平面点
pk
至前一帧
k
‑1中平面激光点云集合中各个平面点的距离
。6.
根据权利要求5所述的一种基于全景相机和激光雷达融合生成纹理信息点云地图方法，其特征在于，所述点云数据集合包括平面激光点云集合；所述平面激光点云数据集合包括多个平面点；所述平面点为目标激光点云数据集合中的目标激光点云数据
...

【专利技术属性】
技术研发人员：宁梓豪，孙喜亮，张衡，徐光彩，吴芳芳，高上，郭彦明，杨超，邱长青，
申请(专利权)人：武汉绿土图景科技有限公司，
类型：发明
国别省市：