高空作业平台激光视觉与惯导融合定位与建图装置及方法制造方法及图纸

本发明专利技术提供一种高空作业平台激光视觉与惯导融合定位与建图装置及方法，装置包括云台支座、单目的相机、激光雷达和IMU惯性传感器；所述激光雷达扫描环境，所述IMU惯性传感器进行预积分获取旋转和位移增量，所述相机由同步分频信号触发曝光采集RGB图像，将点云数据、图像数据和IMU惯性传感器数据反馈到计算主控单元，两个线程分别进行相邻帧匹配得到激光里程计，接着进行全局因子图优化，最后进行回环检测将运算结果融合构建地图，通过后端非线性优化得到整体运动信息，确定工作斗实时位姿态；所述相机、激光雷达和IMU惯性传感器的数据流经过时间同步后经过交换网络输入所述计算主控单元。控单元。控单元。

【技术实现步骤摘要】
高空作业平台激光视觉与惯导融合定位与建图装置及方法


[0001]本专利技术属于高空作业机械的智能定位、激光视觉惯性定位与建图领域，具体涉及一种高空作业平台激光视觉与惯导融合定位与建图装置及方法。

技术介绍

[0002]目前的日常生活中充满了高空作业的场景，无论是工业中的建筑，电气电信设施维护，还是农业中的林木护理与采摘等，高空作业的危险性较高，如果操作不当可能造成工程人员的生命健康损害，如高空的挤压危险，在电网线路作业的触电危险；造成以上痛点的重要原因是现有工作模式下仅依靠人力对工作环境的感知能力不足，高空作业机器智能化改造可以使得高空作业过程中对环境的感知更加充分，为此，为高空作业机械配备了三类传感器：第一类是激光雷达，激光雷达具有强大的三维环境感知能力，通过发射红外激光反射环境信息，以厘米级精度稀疏点云发布数据，激光雷达的不足是无法感知高空环境的颜色信息等，单帧成像分辨率低；第二类是相机，相机具有成本低廉，可以感知环境颜色信息的特点，以图像或视频流发布数据，相机的不足之处是易受到高空环境光照等因素的干扰，如阳光，且无法直接获取作业环境的三维信息；第三类是惯性导航模块(IMU)，惯性导航模块可以测量物体的三轴加速度和角速度信息，积分即可得到轨迹，IMU的不足之处是随着时间的累积误差积累较大，高空作业平台的震动会影响其精度。
[0003]自主系统的实时定位和建图功能又称为SLAM，在机器人、无人车等领域已经得到了长足的发展，SLAM方法主要包括激光SLAM、视觉SLAM和惯性融合SLAM。激光SLAM以激光雷达为主要传感设备，通过激光反射感知环境，进而求解机器人位姿。视觉SLAM使用相机作为主要的传感设备。曝光图像感知环境，然后求解机器人位姿，但是尚未有人将上述SLAM技术应用于高空作业场景，由于高空作业场景的特殊性，现有的单激光slam方法和视觉惯性等slam方法均无法有效适应高空作业环境。

技术实现思路

[0004]针对三种传感器应用于高空作业场景定位建图的优势和不足，本专利技术采用高精度的时间和空间同步方法将三者融合到一个系统内，在算法设计上针对各个传感器特点扬长避短、优势互补，提供高空作业平台激光视觉与惯导融合定位与建图装置及方法，实现了高空作业平台的自主环境感知、定位于工作环境三维建图能力，提升了高空作业装备的智能化水平和安全性。本专利技术通过激光、视觉和惯性融合的装置和算法，解决现有激光slam方法或视觉slam单一方法应用于高空作业平台精度不高，鲁棒性低的问题。
[0005]为达到上述目的，本专利技术采用的技术方案为：
[0006]一种高空作业平台激光视觉与惯导融合定位与建图装置，包括云台支座、单目的相机、激光雷达和IMU惯性传感器；所述定位与建图装置与斗臂车升降平台的末端刚性固定，随工作斗进行移动，当斗臂车开始工作，液压臂控制旋转和升降，所述定位与建图装置在升降开始时刻同步开机，所述激光雷达扫描环境，所述IMU惯性传感器进行预积分获取旋
转和位移增量，所述相机由同步分频信号触发曝光采集RGB图像，将点云数据、图像数据和IMU惯性传感器数据反馈到计算主控单元，两个线程分别进行相邻帧匹配得到激光里程计，接着进行全局因子图优化，最后进行回环检测将运算结果融合构建地图，通过后端非线性优化得到整体运动信息，确定工作斗实时位姿态；所述相机、激光雷达和IMU惯性传感器的数据流经过时间同步后经过交换网络输入所述计算主控单元。
[0007]进一步地，所述激光雷达为机械旋转式激光雷达、固态激光雷达、MEMS激光雷达或数字激光雷达。
[0008]进一步地，所述激光雷达使用多线激光探测器，得到360度3D点云图像，所述多线激光探测器通过电机快速旋转以扫描周围环境；所述多线激光探测器每秒发射数千次，提供丰富的3D点云；雷达数据盒通过数字信号处理和波形分析提供高精度、可扩展的距离探测和强度数据，所述激光雷达以不小于5Hz的更新速率发布点云数据。
[0009]进一步地，所述相机通过CMOS感光芯片成像，全局曝光，以不小于10Hz的速率发布图像，镜头为针孔镜头或鱼眼镜头，用于捕捉到前方视场角的景象和物体的RGB图像。
[0010]进一步地，所述IMU惯性传感器以不小于200Hz的速率更新九轴数据，分别搜索定位与建图装置的三轴姿态角、三轴加速度和三轴角速度。
[0011]本专利技术还根据一种高空作业平台激光视觉与惯导融合定位与建图方法，通过设备安装与标定模块、时间同步模块、高空定位建图算法模块实现；所述设备安装于标定模块用于设计云台支架；所述时间同步模块进行所述相机、激光雷达、IMU惯性传感器和主控计算模块的时间同步；所述高空定位建图算法模块用于激光
‑
惯性系统及视觉
‑
惯性系统的耦合，其接受3D激光点云、单目或多目图像和IMU惯性传感器的信息作为输入。
[0012]进一步地，所述时间同步模块的第一级为GNSS接收模块，通过卫星获取纳秒级精度的UTC真值时间数据，FPGA以低延时逻辑并行电路处理授时信息，将GNSS信号转化为PPS信号和NEMA信号，激光雷达接入两个信号进行时间同步，同时将PPS信号接入IMU惯性传感器和分频器模块，PPS信号使IMU惯性传感器的惯性数据时间戳与UTC时间真值保持一致；接入分频器模块的PPS信号根据所需帧率对相机进行触发，相机触发信号在整秒边沿与PPS信号对齐，两信号时延在几十ns之内，因此相机曝光图像时间与IMU惯性传感器的数据采集时间保持同步；各个相机的时间在制造期间便完成了时间的同步，因此触发信号会同时触发串行触发线上的所有相机；所述主控计算模块接受由FPGA转化发送的NDT网络数据包，通过NDT协议进行时间同步。
[0013]进一步地，所述视觉
‑
惯性系统接受图像和IMU惯性传感器的信息，雷达点云为可选输入；视觉里程计通过最小化IMU惯性传感器和视觉的测量残差来得到；激光里程计通过最小化检测到的线面特征到特征图的距离得到；所述特征图保存在一个滑窗中来实时的执行；利用因子图来优化IMU惯性传感器的预积分，视觉里程计，激光里程计和闭环的约束的残差；所述视觉
‑
惯性系统的视觉部分从激光雷达和IMU惯性传感器获取系统初始状态和传感器参数，进而根据图像时间戳将雷达帧关联到图像关键帧，并进行插值，完成初始化。
[0014]进一步地，所述激光
‑
惯性系统用于定位及稠密建图，包括激光运动畸变校正模块，特征提取模块，IMU预积分模块和地图优化模块；
[0015]所述激光运动畸变模块通过斗臂车上固定的IMU惯性传感器获取数据对雷达的位姿进行粗略的初始化，利用相对于激光帧起始时刻的位姿增量，变换当前激光点到起始时
刻激光点的坐标系下，实现对激光帧的矫正；
[0016]所述特征提取模块通过高空中激光雷达采集的点云数据计算每个点的曲率，并设置相应的阈值，比较阈值和曲率后提取出角点和平面点；
[0017]所述IMU预积分模块用于在高空作业时获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高空作业平台激光视觉与惯导融合定位与建图装置，其特征在于：包括云台支座、单目的相机、激光雷达和IMU惯性传感器；所述定位与建图装置与斗臂车升降平台的末端刚性固定，随工作斗进行移动，当斗臂车开始工作，液压臂控制旋转和升降，所述定位与建图装置在升降开始时刻同步开机，所述激光雷达扫描环境，所述IMU惯性传感器进行预积分获取旋转和位移增量，所述相机由同步分频信号触发曝光采集RGB图像，将点云数据、图像数据和IMU惯性传感器数据反馈到计算主控单元，两个线程分别进行相邻帧匹配得到激光里程计，接着进行全局因子图优化，最后进行回环检测将运算结果融合构建地图，通过后端非线性优化得到整体运动信息，确定工作斗实时位姿态；所述相机、激光雷达和IMU惯性传感器的数据流经过时间同步后经过交换网络输入所述计算主控单元。2.根据权利要求1所述的一种高空作业平台激光视觉与惯导融合定位与建图装置，其特征在于：所述激光雷达为机械旋转式激光雷达、固态激光雷达、MEMS激光雷达或数字激光雷达。3.根据权利要求1所述的一种高空作业平台激光视觉与惯导融合定位与建图装置，其特征在于：所述激光雷达使用多线激光探测器，得到360度3D点云图像，所述多线激光探测器通过电机快速旋转以扫描周围环境；所述多线激光探测器每秒发射数千次，提供丰富的3D点云；雷达数据盒通过数字信号处理和波形分析提供高精度、可扩展的距离探测和强度数据，所述激光雷达以不小于5Hz的更新速率发布点云数据。4.根据权利要求1所述的一种高空作业平台激光视觉与惯导融合定位与建图装置，其特征在于：所述相机通过CMOS感光芯片成像，全局曝光，以不小于10Hz的速率发布图像，镜头为针孔镜头或鱼眼镜头，用于捕捉到前方视场角的景象和物体的RGB图像。5.根据权利要求1所述的一种高空作业平台激光视觉与惯导融合定位与建图装置，其特征在于：所述IMU惯性传感器以不小于200Hz的速率更新九轴数据，分别搜索定位与建图装置的三轴姿态角、三轴加速度和三轴角速度。6.一种高空作业平台激光视觉与惯导融合定位与建图方法，其特征在于：通过设备安装与标定模块、时间同步模块、高空定位建图算法模块实现；所述设备安装于标定模块用于设计云台支架；所述时间同步模块进行所述相机、激光雷达、IMU惯性传感器和主控计算模块的时间同步；所述高空定位建图算法模块用于激光
‑
惯性系统及视觉
‑
惯性系统的耦合，其接受3D激光点云、单目或多目图像和IMU惯性传感器的信息作为输入。7.根据权利要求6所述的定位与建图方法，其特征在于：所述时间同步模块的第一级为GNSS接收模块，通过卫星获取纳秒级精度的UTC真值时间数据，FPGA以低延时逻辑并行电路处理授时信息，将GNSS信号转化为PPS信号和NEMA信号，激光雷达接入两个信号进行时间同步，同时将PPS信号接入IMU惯性传感器和分频器模块，PPS信号使IMU惯性传感器的惯性数据时间戳与UTC时间真值保持一致；接入分频器模块的PPS信号根据所需帧率对相机进行触发，相机...

【专利技术属性】
技术研发人员：董二宝，王梓名，赵洺哲，秦佳峰，张用，张磊，吴少雷，吴凯，
申请(专利权)人：国网山东省电力公司电力科学研究院国网安徽省电力有限公司电力科学研究院，
类型：发明
国别省市：