一种煤矿井下辅助运输机器人车路协同定位系统及方法技术方案

本发明专利技术公开了一种煤矿井下辅助运输机器人车路协同定位系统及方法，属于煤矿井下定位领域，包括：巷道端识别定位装置、自然语义路标辅助定位装置、机器人多源信息融合导航装置和矿井辅助运输监控平台；巷道端识别定位装置和自然语义路标辅助定位装置分别与机器人多源信息融合导航装置以及矿井辅助运输监控平台进行通讯，用于实时传输定位信息；机器人多源信息导航装置与矿井辅助运输监控平台通讯，用于完成定位导航可视化。本发明专利技术采用上述煤矿井下辅助运输机器人车路协同定位系统及方法，基于车路协同机制，实现辅助运输机器人在绝对坐标系下的定位，有效提高定位精度，实现煤矿辅助运输机器人无人化、自主化。自主化。自主化。

【技术实现步骤摘要】
一种煤矿井下辅助运输机器人车路协同定位系统及方法


[0001]本专利技术涉及煤矿井下定位
，尤其涉及一种煤矿井下辅助运输机器人车路协同定位系统及方法。

技术介绍

[0002]煤矿辅助运输是指除煤炭之外的各种运输之总和，主要包括：矿井人员、各类设备、矸石等，其是煤炭生产的重要组成部分。
[0003]近年来我国开始大力推进煤矿辅助运输机器人的自动化、智能化建设，但由于井下GPS信号屏蔽，导致地上常见的定位方式如GPS配合惯导的方法无法使用，而现有的定位方式，如基于无线传感网的定位技术具有定位精度低、建设成本高、无法连续定位等缺点；而由于煤矿井下存在环境与传感器的退化问题，导致新兴的SLAM技术（即时定位与地图构建）无法满足辅助运输机器人长期稳定定位需求。可知辅助运输机器人井下定位已经成为制约煤矿智能化建设和无人化发展的关键问题。

技术实现思路

[0004]为解决上述问题，本专利技术提供一种煤矿井下辅助运输机器人车路协同定位系统及方法，基于车路协同机制，实现辅助运输机器人与巷道端之间的实时信息交互，可有效提高辅助运输机器人的定位精度，实现煤矿辅助运输机器人无人化、自主化运输。
[0005]为实现上述目的，本专利技术提供了一种煤矿井下辅助运输机器人车路协同定位系统，包括：巷道端识别定位装置，搭建于巷道路端，用于采集辅助运输机器人的RGB彩色图像、深度图像和点云信息，并根据采集的辅助运输机器人的RGB彩色图像、深度图像和点云信息基于投票法的六自由度位姿估计完成对机器人绝对坐标系下的识别与定位；自然语义路标辅助定位装置，搭载于在辅助运输机器人上，用于根据采集自然语义路标的RGB彩色图、深度图像和点云信息，基于对应点的六自由度位姿估计方法实现辅助运输机器人在绝对坐标系下的定位；机器人多源信息融合导航装置，装载于辅助运输机器人上，用于根据多种传感器分别构建激光、视觉、编码器/IMU航迹推算里程计，并基于巷道端识别定位信息、自然语义路标辅助定位信息以及里程计实现绝对坐标系下的机器人多源信息融合实时定位、建图以及自主导航；矿井辅助运输监控平台，用于构建巷道3D点云模型并动态更新辅助运输机器人的六自由度位姿，完成对辅助运输机器人监控及调度；巷道端识别定位装置和自然语义路标辅助定位装置分别经井下有线光纤环网和5G/WiFi6与矿井辅助运输监控平台进行通讯，巷道端识别定位装置和自然语义路标辅助定位装置还分别基于5G/WiFi6和光纤与机器人多源信息融合导航装置通讯，机器人多源信息融合导航装置与矿井辅助运输监控平台基于5G/WiFi6通讯。
[0006]优选的，巷道端识别定位装置包括用于拍摄、扫描辅助运输机器人的巷道端感知单元、与巷道端感知单元相连的巷道端边缘计算单元和与巷道端边缘计算单元相连的巷道端通信单元；巷道端感知单元包括RGB
‑
D相机、激光雷达传感器，用于拍摄扫描得到辅助运输机器人的RGB彩色图像、深度图像、点云信息；巷道端边缘计算单元为包括巷道端GPU和与巷道端GPU相连的巷道端计算模块，用于处理辅助运输机器人RGB彩色图像、深度图像与点云信息，并基于投票法的六自由度位姿估计算法，实时完成辅助运输机器人在绝对坐标系下的定位。
[0007]优选的，自然语义路标辅助定位装置包括自然语义路标、用于感知自然语义路标的机器人端感知单元、机器人端计算单元和机器人端通信单元；自然语义路标为模型的物体坐标系被标定过的井下设备，用于被机器人端感知单元识别后进行辅助定位；机器人端感知单元包括RGB
‑
D相机、激光雷达，用于拍摄扫描自然语义路标的RGB彩色图像、深度图像以及点云信息；机器人端计算单元包括机器人端GPU和与机器人端CPU相连的机器人端计算模块，用于处理自然语义路标RGB彩色图像、深度图像以及点云信息，并基于对应点的六自由度位姿估计算法，实时计算辅助运输机器人在绝对坐标系下的定位信息。
[0008]优选的，机器人多源信息融合导航装置包括感知单元、运算单元、通讯单元、执行单元；感知单元包括用于实时采集辅助运输机器人周围环境的点云数据、彩色图像、深度图像与红外深度图像的外部感受器和用于实时采集辅助运输机器人自身状态信息的内部感受器，外部感受器包括激光雷达、毫米波雷达、RGB
‑
D相机、深度红外相机；内部感受器用于检测辅助运输机器人加速度、角速度和角位移的惯性传感器；运算单元包括运算GPU和与运算GPU相连的定位与建图计算模块以及自主导航计算模块，其中，定位与建图计算模块，用于实时处理感知单元的传感器数据，运行基于因子图优化的多源信息融合SLAM方法，实时完成辅助运输机器人的定位、地图构建；自主导航计算模块，用于根据当前位置与目标点完成底层路径规划，并根据运动学模型、动力学模型完成轨迹跟踪与自主避障，计算出相应的运动控制指令；执行单元，执行单元包括伺服电机和执行控制器，用于根据运算单元发送的运动控制指令，执行相应的动作，完成机器人轨迹跟踪。
[0009]优选的，机器人端通信单元、巷道端通信单元与机器人多源信息融合导航均包括内部通信模块和外部通信模块，内部通信模块采用光纤通信，外部通信模块采用5G通信；内部通信模块用于巷道端感知单元与巷道端边缘计算单元之间的数据传输、机器人端感知单元与机器人端计算单元之间的数据传输、自然语义路标辅助定位装置与机器人多源信息融合导航模块以及巷道端识别定位装置与矿井辅助运输监控平台的数据传输；外部通信模块用于巷道端识别定位装置与机器人多源信息融合导航模块的数据传输以及自然语义路标辅助定位装置和机器人多源信息融合导航模块与矿井辅助运输监控平台之间的定位信息的传输。
[0010]优选的，矿井辅助运输监控平台包括监控单元、辅助运输调度单元与监控端通信
单元；监控单元包括视频监控模块、定位可视化模块和场景模型数据库，视频监控模块用于根据巷道端相机采集的视频流，基于图像识别网络进行实时目标识别，对辅助运输机器人进行实时监控；定位可视化模块用于在数据流层面进行巷道整体信息的汇总，构建巷道3D点云模型并动态更新辅助运输机器人的六自由度位姿；辅助运输调度单元，用于机器人多源信息融合定位信息以及辅助运输任务需求，完成对辅助运输机器人监控及调度；监控端通讯单元采用光纤与WiFi通信，用于接收巷道端识别定位装置、自然语义路标辅助定位装置的定位信息，完成与机器人多源信息融合导航装置的信息交互。
[0011]一种煤矿井下辅助运输机器人车路协同定位系统的方法，包括以下步骤：S1、巷道端相机部署以及自然语义路标模型标定；S2、巷道端识别定位；S3、自然路标辅助定位；S4、多源信息融合SLAM，完成绝对坐标系下的实时定位与建图；S5、自主导航。
[0012]优选的，步骤S1具体包括以下步骤：在机器人定位与建图过程中易发生场景和传感器退化的井下区域部署巷道端相机并提取、构建井下设备模型作为自然语义路标，利用物体坐标系标定方法进行自然语义路标模型标定；步骤S2具体包括以下步骤：通过巷道端相机采集辅助运输机器人的RGB彩色图像深度图像与点云信息，并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种煤矿井下辅助运输机器人车路协同定位系统，其特征在于：包括：巷道端识别定位装置，搭建于巷道路端，用于采集辅助运输机器人的RGB彩色图像、深度图像和点云信息，并根据采集的辅助运输机器人的RGB彩色图像、深度图像和点云信息基于投票法的六自由度位姿估计完成对机器人绝对坐标系下的识别与定位；自然语义路标辅助定位装置，搭载于在辅助运输机器人上，用于根据采集自然语义路标的RGB彩色图深度图像和点云信息，基于对应点的六自由度位姿估计方法实现辅助运输机器人在绝对坐标系下的定位；机器人多源信息融合导航装置，装载于辅助运输机器人上，用于根据多种传感器分别构建激光、视觉、编码器/IMU航迹推算里程计，并基于巷道端识别定位信息、自然语义路标辅助定位信息以及里程计实现绝对坐标系下的机器人多源信息融合实时定位、建图以及自主导航；矿井辅助运输监控平台，用于构建巷道3D点云模型并动态更新辅助运输机器人的六自由度位姿，完成对辅助运输机器人监控及调度；巷道端识别定位装置和自然语义路标辅助定位装置分别经井下有线光纤环网和5G/WiFi6与矿井辅助运输监控平台进行通讯，巷道端识别定位装置和自然语义路标辅助定位装置还分别基于5G/WiFi6和光纤与机器人多源信息融合导航装置通讯，机器人多源信息融合导航装置与矿井辅助运输监控平台基于5G/WiFi6通讯。2.根据权利要求1所述的一种煤矿井下辅助运输机器人车路协同定位系统，其特征在于：巷道端识别定位装置包括用于拍摄、扫描辅助运输机器人的巷道端感知单元、与巷道端感知单元相连的巷道端边缘计算单元和巷道端通信单元；巷道端感知单元包括RGB
‑
D相机、激光雷达，用于拍摄扫描得到辅助运输机器人的RGB彩色图像、深度图像、点云信息；巷道端边缘计算单元为包括巷道端GPU和与巷道端GPU相连的巷道端计算模块，用于处理辅助运输机器人RGB彩色图像、深度图像与点云信息，并基于投票法的六自由度位姿估计算法，实时完成辅助运输机器人在绝对坐标系下的定位。3.根据权利要求2所述的一种煤矿井下辅助运输机器人车路协同定位系统，其特征在于：自然语义路标辅助定位装置包括自然语义路标、用于感知自然语义路标的机器人端感知单元、机器人端计算单元和机器人端通信单元；自然语义路标为模型的物体坐标系被标定过的井下设备，用于被机器人端感知单元识别后进行辅助定位；机器人端感知单元包括RGB
‑
D相机、激光雷达，用于拍摄扫描自然语义路标的RGB彩色图像、深度图像以及点云信息；机器人端计算单元包括机器人端GPU和与机器人端GPU相连的机器人端计算模块，用于处理自然语义路标RGB彩色图像、深度图像以及点云信息，并基于对应点的六自由度位姿估计算法，实时计算辅助运输机器人在绝对坐标系下的定位信息。4.根据权利要求1所述的一种煤矿井下辅助运输机器人车路协同定位系统，其特征在于：机器人多源信息融合导航装置包括感知单元、运算单元、通讯单元、执行单元；感知单元包括用于实时采集辅助运输机器人周围环境的点云数据、彩色图像、深度图像与红外深度图像的外部感受器和用于实时采集辅助运输机器人自身状态信息的内部感
受器，外部感受器包括激光雷达、毫米波雷达、RGB
‑
D相机、深度红外相机；内部感受器用于检测辅助运输机器人加速度、角速度和角位移的惯性传感器；运算单元包括运算GPU和与运算GPU相连的定位与建图计算模块以及自主导航计算模块，其中，定位与建图计算模块，用于实时处理感知单元的传感器数据，运行基于因子图优化的多源信息融合SLAM方法，实时完成辅助运输机器人的定位、地图构建；自主导航计算模块，用于根据当前位置与目标点完成底层路径规划，并根据运动学模型、动力学模型完成轨迹跟踪与自主避障，计算出相应的运动控制指令；执行单元，执行单元包括伺服电机和执行控制器，用于根据运算单元发送的运动控制指令，执行相应的动作，完成机器人轨迹跟踪。5.根据权利要求3所述的一种煤矿井下辅助运输机器人车路协同定位系统，其特征在于：机器人端通信单元、巷道端通信单元与机器人多源信息融合导航装置通讯单元均包括内部通信模块和外部通信模块，内部通信模块采用光纤通信，外部通信模块采用5G通信；内部通信模块用于巷道端感知单元与巷道端边缘计算单元之间的数据传输、机器人端感知单元与机器人端计算单元之间的数据传输、自然语义路标辅助定位装置与机器人多源信息融合导航模块以及巷道端识别定位装置与矿井辅助运输监控平台的数据传输；外部通信模块用于巷道端识别定位装置与机器人多源信息融合导航模块的数据传输以及自然语义路标辅助定位装置和机器人多源信息融合导航模块与矿井辅助运输监控平台之间的定位信息的传输。6.根据权利要求1所述的一种煤矿井下辅助运输机器人车路协同定位系统，其特征在于：矿井辅助运输监控平台包括监控单元、辅助运输调度单元与监控端通信单元；监控单元包括视频监控模块、定位可视化模块和场景模型数据库，视频监控模块用于根据巷道端相机采集的视频流，基于图像识别网络进行实时目标识别，对辅助运输机器人进行实时监控；定位可视化模块用于在数据流层面进行巷道整体信息的汇总，构建巷道3D点云模型并动态更新辅助运输机器人的六自由度位姿；辅助运输调度单元，用于根据机器人多源信息融合定位信息以及辅助运输任务需求，完成对辅助运输机器人监控及调度；监控端通讯单元采用光纤与WiFi通信，用于接收巷道端识别定位装置、自然语义路标辅助定位装置的定位信息，完成与机器人多源信息融合导航装置的信息交互。7.一种煤矿井下辅助运输机器人车路协同定位方法，其特征在于：应用上述权利要求1
‑
6任一项所述的一种煤矿井下辅助运输机器人车路协同定位系统；包括以下步骤：S1、巷道端相机部署以及自然语义路标模型标定；S2、巷道端识别定位；S3、自然路标辅助定位；S4、多源信息融合SLAM，完成绝对坐标系下的实时定位与建图；S5、自主导航。8.根据权利要求7所述的一种煤矿井下辅助运输机器人车路协同定位方法，其特征在于：步骤S1具体包括以下步骤：
在机器人定位与建图过程中易发生场景和传感器退化的井下区域部署巷道端相机并提取、构建井下设备模型作为自然语义路标，利用物体坐标系标定方法进行自然语义路标模型标定；步骤S2具体包括以下步骤：通过巷道端相机采集辅助运输机器人的RGB彩色图像深度图像与点云信息，并根据基于投票法的六自由度位姿估计的识别定位方法，实时计算获得机器人绝对坐标系下的定位信息，然后将该定位信息实时传输至定位与建图计算模块；步骤S3具体...

【专利技术属性】
技术研发人员：李猛钢，张运通，胡琨，周公博，唐超权，胡而已，周坪，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：