一种基于激光视觉融合的防冲钻孔机器人同步定位与地图构建方法技术

技术编号:37458022 阅读:19 留言:0更新日期:2023-05-06 09:30
本发明专利技术公开了一种基于激光视觉融合的防冲钻孔机器人同步定位与地图构建方法,包括:通过视觉激光里程计构建新的描述子,并求解出对应两帧图像对应描述子间的位姿变换关系;通过激光惯性里程计消除激光雷达的运动畸变,对点云进行特征提取与匹配,并求解出当前激光雷达的位姿;通过匹配历史关键帧进行回环检测;通过位姿图优化的方法对回环检测以及里程计位姿估计的结果进行优化,最终输出位姿数据和地图;本发明专利技术将激光与视觉相融合,有效的提高了系统的鲁棒性和准确性,可提高定位的精度、改善地图的质量以及精度,有效为移动机器人自主导航提供扎实的理论基础;本发明专利技术具有通用性,可以适用于不同种类、不同型号的传感器。不同型号的传感器。不同型号的传感器。

【技术实现步骤摘要】
一种基于激光视觉融合的防冲钻孔机器人同步定位与地图构建方法


[0001]本专利技术涉及一种同步定位与地图构建方法,具体为一种基于激光与视觉融合的防冲钻孔机器人同步定位与地图构建方法,属于井下防冲钻孔机器人


技术介绍

[0002]防冲钻孔机器人是煤炭井下预防冲击地压事故的关键设备,但是目前,井下防冲钻孔机器人仍需要人工进行现场操控,卸压作业需要人员进入危险区域,卸压过程中容易诱发冲击地压灾害,对施工人员的生命安全造成严重威胁,不仅会影响煤矿的安全生产,而且会造成十分惨重的人员伤亡和经济损失。
[0003]同步定位与地图构建方法是移动机器人实现自主移动的必要前提,但目前基于激光雷达的同步定位与地图构建方法存在需要用大量的变量来求解、在退化场景中扫描匹配会失败等缺点;基于视觉的同步定位与地图构建方法存在视觉特征点过少会失效等缺点。

技术实现思路

[0004]本专利技术的目的就在于为了解决上述至少一个技术问题而提供一种基于激光视觉融合的防冲钻孔机器人同步定位与地图构建方法,能够提高系统的鲁棒性和准确性、提高定位的精度、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光视觉融合的防冲钻孔机器人同步定位与地图构建方法,其特征在于:包括防冲钻孔机器人,所述防冲钻孔机器人包括深度相机(1)、激光雷达(2)、履带式移动底盘(3)、旋转平台(4)、下液压支架(5)、虎钳(6)、马达(7)、上液压支架(8)、钻杆箱(9)、上杆平台(10)以及履带底盘顶板(11);所述深度相机(1)和激光雷达(2)均安装在履带底盘顶板(11)的一端,所述履带底盘顶板(11)下方安装有履带式移动底盘(3),所述深度相机(1)和激光雷达(2)获取防冲钻孔机器人周边环境信息进行位姿估计与地图构建,基于构建好的地图和位姿数据通过路径规划算法给予目标点即机器人通过从地图中获取的位姿信息发送至PLC,通过该PLC控制液压马达驱动履带式移动底盘(3)进行移动,所述履带底盘顶板(11)上安装有旋转平台(4),所述下液压支架(5)和上液压支架(8)分别支撑在巷道地面与巷道上顶层进行机器人车体固定,且所述旋转平台(4)上安装有虎钳(6)、马达(7)以及钻杆箱(9),所述钻杆箱(9)内的钻杆伸出后通过上杆平台(10)输送至虎钳(6)夹紧,并由马达(7)驱动钻杆转动;所述同步定位与地图构建的方法包括:部分一,通过视觉激光里程计构建新的描述子,并求解出对应两帧图像对应描述子间的位姿变换关系:包含三大模块:投影描述子模块、特征匹配模块以及位姿估计模块;将去除畸变后的激光点云投影在相机平面上,构建新的特征描述子,运用视觉里程计的方法匹配计算对应两帧图像下的位姿变化矩阵,将其作为激光惯性里程计在帧间匹配的位姿变换初值;部分二,通过激光惯性里程计消除激光雷达的运动畸变,对点云进行特征提取与匹配,并求解出当前激光雷达的位姿:包含点云畸变消除模块、线面特征提取模块以及点云匹配模块;运用IMU预积分对激光雷达数据进行预处理,消除激光点云的畸变,对去除畸变后的激光点云的线、面特征进行提取,在获得点云的线、面特征后,匹配相邻帧之间的线、面特征,通过视觉激光里程计所提供的位姿变换初值以及LM法,求解最小化距离代价函数得到当前激光雷达的位姿;部分三,通过匹配历史关键帧进行回环检测:通过里程计获得帧间有效位姿估计后,筛选出有有效关键帧作为局部地图,运动kd

tree的方法将其存储,将存储的历史帧和当前关键帧进行匹配,当两帧之间的特征点之间满足一定的阈值关系这形成回环,并对回环进行优化,以实现回环检测功能;部分四,通过位姿图优化的方法对回环检测以及里程计位姿估计的结果进行优化,最终输出位姿数据和地图:通过里程计对位姿有效估计后仍然存在误差,采用位姿图优化的方法对回环检测以及里程计位姿估计的结果进行优化,最后输出位姿数据和地图。2.根据权利要求1所述的一种基于激光视觉融合的防冲钻孔机器人同步定位与地图构建方法,其特征在于:所述部分一中投影描述子模块包括:采用BRUEF描述子将去除运动畸变后的激光雷达点云对应到相机平面中进行特征描述,其步骤如下:

以激光雷达点云在相机平台下的坐标P
c
所对应的像素点为中心,取其领域大小为d
×
d的集合ρ;

在该集合ρ选取一对点对(x,y),其对应像素值分别为ρ(x)和ρ(y),比对两者像素值大小通过下述的公式进行二进制赋值:

在集合ρ中随机选取N对像素点,多次运用步骤

进行二进制赋值,最终将该集合构建为一个二进制编码,这个编码则是该特征点的特征描述子,可由以下n维二进制向量表示:3.根据权利要求1所述的一种基于激光视觉融合的防冲钻孔机器人同步定位与地图构建方法,其特征在于:所述部分一中特征匹配模块包括:通过该特征点所对应特征描述子的编码特征,采用Brute Force算法将相邻两帧图像中表示同一特征的特征点相匹配构成相对应的特征点对,其步骤如下:

随机从特征集合与中抽取四组不共线的像素坐标,计算对应的单应矩阵F,如下所示:

通过单应矩阵F测试所有两集合间的特征点,并构建最小化投影误差函数,如下所示,若ξ小于设定的阈值,则将特征点对加入到内点集合I中;

若内点集合I中的特征点对个数大于最优内点集合I
b
,则更新I
b
=I,并且更新迭代次数,若迭代的次数小于所设定的阈值,则进行迭代循环,若迭代的次数大于所设定的阈值,则退出循环并输出内点集合中的特征点对。4.根据权利要求1所述的...

【专利技术属性】
技术研发人员:刘新华王辉方淙敏王忠宾康明霞司垒魏东邹筱瑜顾进恒戴剑博
申请(专利权)人:中国矿业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1