高空平台多视角激光视觉惯性融合定位建图装置及方法制造方法及图纸

本发明专利技术提供一种高空平台多视角激光视觉惯性融合定位建图装置及方法，所述装置包括固定的云台支架、单目相机、立体相机、IMU惯性传感器、多个激光雷达、时间同步系统和计算主控单元；所述装置与斗臂车升降平台的末端刚性固定，随工作斗进行移动，操纵液压臂控制旋转和升降，所述装置在升降开始时刻通过所述时间同步系统同步开机；所述激光雷达扫描环境，所述IMU惯性传感器进行预积分获取旋转和位移增量，将点云数据和IMU惯性传感器数据反馈到所述计算主控单元，分别进行相邻帧匹配得到激光里程计，接着进行全局因子图优化，最后进行回环检测将运算结果融合构建地图，通过后端非线性优化得到整体运动信息，确定工作斗实时位姿态。态。态。

【技术实现步骤摘要】
高空平台多视角激光视觉惯性融合定位建图装置及方法


[0001]本专利技术涉及高空作业机械的智能定位
，具体涉及一种高空平台多视角激光视觉惯性融合定位建图装置及方法。

技术介绍

[0002]SLAM(simultaneous localization and mapping)全称即时定位与地图构建或并发建图与定位，它主要的作用是让机器人等自助系统在未知的环境中，完成定位(Localization)，建图(Mapping)和路径规划(Navigation)。目前，SLAM技术被广泛运用于机器人、无人驾驶、AR、VR等领域，依靠多种传感器可实现机器的自主定位、建图、路径规划等功能。主流的slam技术应用有激光slam(基于激光雷达来建图导航)、视觉slam(vslam,基于单/多目摄像头视觉建图导航)及激光、视觉与惯性融合SLAM。激光雷达、相机和惯性传感单元是SLAM硬件平台的常见传感器。
[0003]虽然SLAM技术已经应用于许多领域，但是在此之前还未见有应用于高空作业领域，高空作业目前存在许多痛点，高空作业设备在工作时感知能力不足，依赖于人为经验，因此带来了很高的危险性以及低效率，如果能将SLAM技术应用于高空作业领域将十分有价值，可以用智能信息技术大幅提升其安全性和作业效率。
[0004]高空作业平台相比于地面机器人或自动驾驶汽车多出了Z方向垂直地面的移动，因此不仅要关注前后左右的环境进行定位于建图，工作平台上下的环境感知同样非常重要，如果感知不到位平台将无法及时确定躲避各个方向的障碍，因此本专利技术针对高空作业场景的特殊性设计了多视角的多传感器融合定位建图设备，选用多种激光雷达、相机、惯性传感单元，实现了高空作业平台全方位无死角地感知作业环境，精准定位自身，构建工作环境三维地图，极大提升了高空作业平台的智能化水平。

技术实现思路

[0005]为解决现有激光slam方法或视觉slam单一方法应用于高空作业平台视场角局限，不能充分感知重构环境的问题，本专利技术提供一种高空平台多视角激光视觉惯性融合定位建图装置及方法，以提升高空作业系统在缺少纹理或者特征场景中的鲁棒性。
[0006]为达到上述目的，本专利技术采用的技术方案为：
[0007]一种高空平台多视角激光视觉惯性融合定位建图装置，包括固定的云台支架、单目相机、立体相机、IMU惯性传感器、多个激光雷达、时间同步系统和计算主控单元；所述激光雷达包括水平360度激光雷达、垂直360度激光雷达、侧视固态激光雷达；所述单目相机包括第一环视鱼眼相机、第二环视鱼眼相机，所述立体相机包括前视、后视立体相机和上视、下视立体相机；所述水平360度激光雷达、第一环视鱼眼相机与IMU惯性传感器固定在定位建图装置基座平台中心处的云台上；所述前视立体相机与后视立体相机固定在定位建图装置基座平台上，安装于系统边缘部分；所述第二环视鱼眼相机、侧视固态激光雷达同样固定在定位建图装置基座平台上，安装于系统边缘部分，其中第二环视鱼眼相机与侧视固态激
光雷达邻近；所述垂直360度激光雷达垂直于基座平台安放；所述装置与斗臂车升降平台的末端刚性固定，随工作斗进行移动，当斗臂车开始工作，操纵液压臂控制旋转和升降，所述装置在升降开始时刻通过所述时间同步系统同步开机；所述激光雷达扫描环境，所述IMU惯性传感器进行预积分获取旋转和位移增量，将点云数据和IMU惯性传感器数据反馈到所述计算主控单元，分别进行相邻帧匹配得到激光里程计，接着进行全局因子图优化，最后进行回环检测将运算结果融合构建地图，通过后端非线性优化得到整体运动信息，确定工作斗实时位姿态。
[0008]进一步地，所述激光雷达为机械旋转式激光雷达或固态面阵式激光雷达。
[0009]本专利技术还提供一种高空平台多视角激光视觉惯性融合定位建图方法，通过设备安装与标定模块、时间同步模块和高空定位建图算法模块实现；
[0010]所述设备安装与标定模块用于设计云台支架，将激光雷达、单目相机、立体相机与IMU惯性传感器刚性连接，确保在高空作业平台升降的过程中，激光雷达、单目相机、立体相机与IMU惯性传感器之间的相对位置不发生改变，同时将云台支架与升降平台工作斗刚性固连，确保IMU惯性传感器如实反映升降平台工作斗的运动位姿；
[0011]所述定位建图装置的前端设置感知设备，其为中心位置为水平360度激光雷达，随高空作业平台升高过程感知水平方向环境；在水平方向的轴线上安装前视、后视立体相机，与水平方向的多线激光雷达进行图像
‑
点云模态融合，为环境重构提供多目视差法测深度和激光反射测深度冗余信息；同时针对斗臂车高空作业平台，后视立体相机观测移动的斗臂，用于进行姿态确定和动态物体去除；所述感知设备侧边竖直放置垂直360度激光雷达，用于当水平方向感知需要更密集点云时进行补充；
[0012]所述时间同步模块进行单目相机、立体相机、激光雷达、IMU惯性传感器和主控计算模块的时间同步；
[0013]所述高空定位建图算法模块用于使得水平方向的传感器组感知水平360度范围的环境信息，其包括水平方向的传感器组视觉惯性系统、水平方向的传感器组激光惯性系统和垂直方向激光雷达与IMU惯性传感器系统。
[0014]进一步地，所述时间同步模块的第一级为GNSS接收模块，通过卫星获取纳秒级精度的UTC真值时间数据，FPGA模块以低延时逻辑并行电路处理授时信息，将GNSS信号转化为PPS信号和NEMA信号，激光雷达接入两个信号进行时间同步，此同步信号对水平方向的360度激光雷达、固态面阵激光雷达及竖直方向的360度激光雷达同步作用，同时将PPS信号接入IMU惯性传感器和分频器模块，PPS信号使IMU惯性传感器的惯性数据时间戳与UTC真值时间保持一致；接入分频器模块的PPS信号根据所需帧率对相机进行触发，相机触发信号在整秒边沿与PPS信号对齐，两信号时延在几十ns之内，因此相机曝光图像时间与IMU惯性传感器数据采集时间保持同步。
[0015]进一步地，各个相机时间在设备制造期间便完成时间的同步，因此触发信号同时触发串行触发线上的所有相机；所述主控计算模块接受由FPGA模块转化发送的NDT网络数据包，通过NDT协议进行时间同步。
[0016]进一步地，所述水平方向的传感器组视觉惯性系统用于初始化和定位；每个环视相机与IMU惯性传感器均组成小型视觉惯性定位系统，通过可靠性程序判定工作状态，以可靠系数为每个小型视觉惯性定位系统加权，最终输出整体视觉惯性系统定位结果；视觉部
分从雷达获得初始状态和传感器参数，根据图像时间戳将雷达帧与图像关键帧相关联，并执行插值以完成初始化。
[0017]进一步地，所述水平方向的传感器组激光惯性系统用于在所述水平方向的传感器组视觉惯性系统的初始定位基础上进行精度更高的二次定位与稠密化建图，以水平360度激光雷达点云作为定位模块主输入，以固态激光雷达作为建图模块主输入，输出为高空作业平台定位轨迹、位姿及三维稠密点云环境地图；首先通过高空作业平台上固定的IMU惯性传感器得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高空平台多视角激光视觉惯性融合定位建图装置，其特征在于：包括固定的云台支架、单目相机、立体相机、IMU惯性传感器、多个激光雷达、时间同步系统和计算主控单元；所述激光雷达包括水平360度激光雷达、垂直360度激光雷达、侧视固态激光雷达；所述单目相机包括第一环视鱼眼相机、第二环视鱼眼相机，所述立体相机包括前视、后视立体相机和上视、下视立体相机；所述水平360度激光雷达、第一环视鱼眼相机与IMU惯性传感器固定在定位建图装置基座平台中心处的云台上；所述前视立体相机与后视立体相机固定在定位建图装置基座平台上，安装于系统边缘部分；所述第二环视鱼眼相机、侧视固态激光雷达同样固定在定位建图装置基座平台上，安装于系统边缘部分，其中第二环视鱼眼相机与侧视固态激光雷达邻近；所述垂直360度激光雷达垂直于基座平台安放；所述装置与斗臂车升降平台的末端刚性固定，随工作斗进行移动，当斗臂车开始工作，操纵液压臂控制旋转和升降，所述装置在升降开始时刻通过所述时间同步系统同步开机；所述激光雷达扫描环境，所述IMU惯性传感器进行预积分获取旋转和位移增量，将点云数据和IMU惯性传感器数据反馈到所述计算主控单元，分别进行相邻帧匹配得到激光里程计，接着进行全局因子图优化，最后进行回环检测将运算结果融合构建地图，通过后端非线性优化得到整体运动信息，确定工作斗实时位姿态。2.根据权利要求1所述的一种高空平台多视角激光视觉惯性融合定位建图装置，其特征在于：所述激光雷达为机械旋转式激光雷达或固态面阵式激光雷达。3.根据权利要求1或2所述的一种高空平台多视角激光视觉惯性融合定位建图装置的定位建图方法，其特征在于：通过设备安装与标定模块、时间同步模块和高空定位建图算法模块实现；所述设备安装与标定模块用于设计云台支架，将激光雷达、单目相机、立体相机与IMU惯性传感器刚性连接，确保在高空作业平台升降的过程中，激光雷达、单目相机、立体相机与IMU惯性传感器之间的相对位置不发生改变，同时将云台支架与升降平台工作斗刚性固连，确保IMU惯性传感器如实反映升降平台工作斗的运动位姿；所述定位建图装置的前端设置感知设备，其为中心位置为水平360度激光雷达，随高空作业平台升高过程感知水平方向环境；在水平方向的轴线上安装前视、后视立体相机，与水平方向的多线激光雷达进行图像
‑
点云模态融合，为环境重构提供多目视差法测深度和激光反射测深度冗余信息；同时针对斗臂车高空作业平台，后视立体相机观测移动的斗臂，用于进行姿态确定和动态物体去除；所述感知设备侧边竖直放置垂直360度激光雷达，用于当水平方向感知需要更密集点云时进行补充；所述时间同步模块进行单目相机、立体相机、激光雷达、IMU惯性传感器和主控计算模块的时间同步；所述高空定位建图算法模块用于使得水平方向的传感器组感知水平360度范围的环境信息，其包括水平方向的传感器组视觉惯性系统、水平方向的传感器组激光惯性系统和垂直方向激光雷达与IMU惯性传感器系统。4.根据权利要求3所述的定位建图方法，其特征在于：所述时间同步模块的第一级为GNSS接收模块，通过卫星获取纳秒级精度的UTC真值时间数据，FPGA模块以低延时逻辑并行电路处理授时信息，将GNSS信号转化为PPS信号和NEMA信号，激光雷达接入两个信号进行时间同步，此同步信号对水平方向的360度激光雷达、固态面阵激光雷达及竖直方向的360度
激光雷达同步作用，同时将PPS信号接入IMU惯性传感器和分频器模块，PPS信号使IMU惯性传感器的惯性数据时间戳与UTC真值时间保持一致；接入分频器模块的PPS信号根据所需帧率对相机进行触发，相机触发信号在整秒边沿与PPS信号对齐，两信号时延在几十ns之...

【专利技术属性】
技术研发人员：董二宝，王梓名，刘昱江，张磊，秦佳峰，张用，李勇，吴少雷，吴凯，
申请(专利权)人：国网山东省电力公司电力科学研究院国网安徽省电力有限公司电力科学研究院，
类型：发明
国别省市：