【技术实现步骤摘要】
一种煤矿井下场景现实捕捉感知方法及设备
[0001]本专利技术涉及煤矿开采
,尤其涉及一种煤矿井下场景现实捕捉感知方法、装置、设备、存储介质。
技术介绍
[0002]煤矿智能化开采是现阶段煤矿转型的必然趋势,而对于视觉感知技术的研究将极大程度上促进煤矿智能化开采进程。然而,现有煤矿井下场景感知系统往往手段单一,功能有限,无法为煤矿智能化无人开采提供完备技术支撑。因此,当前煤矿井下尚缺乏一套成熟的环境感知与现实捕捉方法与系统,针对采场环境设备状况进行充分、全面感知,为构建感知、决策、控制有效闭环,实现智能开采奠定基础。
[0003]现有技术中,有技术人员提出一种基于激光雷达与IMU的煤矿井下机器人运动平台定位方案并基于catograppher等SLAM开源算法进行煤矿井下空间地图构建,此方案利用机器人运动平台通过简单技术方案实现场景环境感知与定位,其定位结果精度较低;其具有机器人运动平台定位与建图功能,但此系统无法全面感知机器人周围环境状态,仅简单实现障碍物的避障功能;而且缺乏关键目标对象追踪捕获、环境状态感知与分析等功能。
技术实现思路
[0004]本专利技术提供一种煤矿井下场景现实捕捉感知方法、装置、设备、存储介质,旨在实现采场环境目标对象的实时可视化动态监测,为智能开采提供感知依据。
[0005]为此,本专利技术的第一个目的是提出一种煤矿井下场景现实捕捉感知方法,包括:
[0006]在特定坐标系中,获取场景中机器人运动平台目标对象的实时位姿信息,并获取场景地图信息进行 ...
【技术保护点】
【技术特征摘要】
1.一种煤矿井下场景现实捕捉感知方法,其特征在于,包括:在特定坐标系中,获取场景中机器人运动平台目标对象的实时位姿信息,并基于获取的场景地图信息进行局部地图与全局地图构建;基于场景地图信息进行场景关键目标识别和跟踪,同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取;对运动目标对象进行稳定捕获和追踪,并根据所述场景局部地图信息进行障碍物目标的躲避,基于场景全局地图信息进行目标追踪与导航。2.根据权利要求1所述的煤矿井下场景现实捕捉感知方法,其特征在于,在特定坐标系中获取场景中机器人运动平台目标对象的实时位姿信息,并获取场景地图信息进行行局部地图与全局地图构建包括步骤:获取多模态同步配准数据,并进行输出处理分析;其中,所述多模态同步配准数据包括已完成时钟同步与标定的视觉相机、激光雷达、惯性导航里程计(IMU)、UWB设备、轮速计及标识标靶识别装置的感知传感器所采集的数据;基于分析处理后的所述多模态同步配准数据,进行场景特征提取与动态特征检测识别;结合特征提取结果与动态特征检测识别结果进行场景特征筛选与匹配及场景特征追踪,获取初步机器人运动平台定位信息;基于初步机器人运动平台定位信息,生成局部地图和全局地图,并对所述局部地图和全局地图进行优化;对优化后的所述局部地图和全局地图进行地图矫正,并进行实景投影。3.根据权利要求1所述的煤矿井下场景现实捕捉感知方法,其特征在于,基于场景地图信息进行场景关键目标识别和跟踪,同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取的步骤中,包括:通过所采集场景数据进行处理后得到的数据集,对所述感知算法模型进行训练,构建感知算法模型;将实时的场景数据输入已完成构建的所述感知算法模型,输出结果为目标对象检测识别结果及场景区域分割结果;基于机器人运动平台定位数据与局部地图数据,将目标对象检测识别或者场景区域分割结果映射到相应特征地图中,实现目标对象在场景地图中的实例分割;根据目标对象在场景地图中的实例分割结果,通过分析处理目标对象所在的局部空间地图数据,实现目标对象状态实时感知。4.根据权利要求3所述的煤矿井下场景现实捕捉感知方法,其特征在于,在构建感知算法模型的步骤中,基于数据分析与处理计算,选择模型训练架构,完成深度神经网络结构设计;其中,针对视觉图像的场景分割与目标对象检测识别使用yolov7,针对激光雷达点云的场景分割使用SPVCNN,针对图像与激光点云融合数据的实例分割使用2DPASS。5.根据权利要求3所述的煤矿井下场景现实捕捉感知方法,其特征在于,对运动目标对象进行稳定捕获和追踪,并根据所述场景局部地图信息进行障碍物目标的躲避,基于场景全局地图信息进行目标追踪与导航的步骤包括:
在目标对象检测识别的基础上,结合目标对象定位信息与场景地图实例分割结果信息,基于特征匹配与滤波/非线性优化等算法进行目...
【专利技术属性】
技术研发人员:叶晨曦,南柄飞,韩默渊,吴江伟,郭志杰,
申请(专利权)人:北京煤科天玛自动化科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。