一种基于锚杆网络的钻锚机器人单目视觉定位方法技术

本发明专利技术涉及煤矿井下移动机器人定位技术领域，具体涉及一种基于锚杆网络的钻锚机器人单目视觉定位方法，该方法根据钻锚作业需求，针对钻锚机器人在综掘巷道中智能化定位需求，提出一种基于单目视觉原理的钻锚机器人车身定位方法，建立了基于图像参数的车身位姿解算模型。设计了钻锚机器人单目视觉位姿系统，确定了实际工况中单目视觉定位系统的测量精度。本发明专利技术实现了钻锚机器人在煤矿巷道的定位需求，大大提高了巷道掘进的支护效率以及煤矿设备的智能化水平。备的智能化水平。备的智能化水平。

【技术实现步骤摘要】
一种基于锚杆网络的钻锚机器人单目视觉定位方法


[0001]本专利技术涉及煤矿巷道机器人定位
，具体涉及一种基于锚杆网络的钻锚机器人单目视觉定位方法。

技术介绍

[0002]目前，我国煤炭开采技术不断实现自动化，但是巷道支护作业仍然存在一些技术难题，巷道支护技术是煤炭安全开采关键环节，随着对煤炭需求量的增加，开采和支护效率也必须相对应的提高。掘进工作面机器人群包括掘、支、锚、运一体化的智能机组，并要求每一部分都具有位姿自动检测、轨迹优化、自主纠偏、自主定位等特点。其中，钻锚机器人是专门用于煤矿井下和其他井巷工程中巷道安装锚杆的支护类设备，可以代替工人完成锚杆运输、打孔、装配等作业，有效地解决了工人劳动强度大等问题，但目前大多数钻锚作业都是通过人工驾驶钻锚机器人移动以及工作机构位姿调整完成钻锚台车定位，由此可见其定位精度和效率无法保证。因此，针对钻锚机器人机身定位困难等问题，研究采用单目视觉传感器技术建立钻锚机器人机身定向定位方法，建立适用于井下复杂环境的钻锚机器人机身定位定向系统，提高定位精度、容错率，对实现煤矿巷道钻锚机器人定向定位、移动效率具有重大应用价值与研究意义，同时也为掘进工作面机器人群的定向定位奠定了基础。
[0003]中南大学何清华教授基于钻锚机器人运动学模型提出了车体定位的方案，通过设立激光标靶，建立关节传感器参数与车体相对隧道断面的位姿解算型，实现车体的精确定位。但该方案的系统误差大，需要以实际测量获取总体误差数据，分别分析各环节的误差原因与误差影响系数，并在此基础上井下定位误差纠偏猜可实现精确定位。西安科技大学的马宏伟等人提出一种基于多传感器融合的煤矿巷道龙门式钻锚机器人的精确定位方法(CN112114327A)。该钻锚机器人由履带行走机构和龙门框架组成，进行钻锚作业时，会出现钻锚机器人与掘进机干涉的情况，因此将机身定位分为前移定位和后移定位。但是在钻锚机器人自主定位的过程中，在前移定位中，由于雷达测距传感器与机身采用刚性连接，并被测工作面凹凸不平，出产生误差从而影响；后移定位时，激光雷达通过扫描得到的图像为点云图，因此选取特征点的不同也会影响到定位精确度，并且该方法忽略了部分物理因素对测量结果的干扰，例如锚杆表面凹凸不平、粗细、锚杆安装误差对激光扫描的影响。除此之外，多传感器组合定位的测量方法涉及了多种数据融合，增加了定位测量系统的复杂性。山西潞安环保能源开发股份有限公司漳村煤矿的研究人员提出一种掘锚连续自动化快速掘进工艺(CN103899319A)，该工艺将端头支架作为临时支护设备，而端头支架通常几何尺寸较大，架体笨重且前移困难，造成临时支护所用时间较长，效率较低。同时该工艺将永久支护以端头支架为界分为迎头支护和后支护两部分，利用锚杆钻机装置进行支护作业，其中，虽然后支护可以和掘进机掘进并行作业，但迎头支护和掘进机的掘进在时间会冲突，不能同时进行，所以并不能真正意义上实现掘进和永久支护的并行作业。此外，该工艺中掘进和支护设备自动化程度较低，掘进效率不高，施工人员面临的工作环境很危险。
[0004]因此，本专利技术针对钻锚机器人机身定位困难、工作环境粉尘大、光线差等问题，该
专利技术建立了一种基于单目视觉的钻锚机器人机身定向定位方法，建立了一套适用于煤矿井下复杂环境的钻锚机器人机身定向定位系统，其定位精度满足工程实际的要求，对实现煤矿巷道钻锚机器人定向定位、井下工作效率以及其它移动机器人自主定向定位具有重大应用价值与研究意义。根据当前煤矿井下巷道环境，提出了视觉推算定位算法，在无地图构建的煤矿巷道的环境中依据锚杆网络进行辅助识别定位，对实现煤矿巷道无人化和采掘智能化工作面奠定理论基础，真正代替了传统的人工驾驶和操控掘进机以的作业方式，更具智能化也更安全，节约了人力成本，也为解决深部煤层无人化采掘装备的无人化研究提供了一种解决方法，为实现钻锚机器人以及其它井下移动装备智能化化定位控制、自主导航以及移动轨迹规划等综采工作面智能化建设奠定基础。

技术实现思路

[0005]针对复杂工况环境下的钻锚机器人机身定位困难、干扰大、精度低、效率低等问题，本专利技术提供了一种基于锚杆网络的钻锚机器人单目视觉定位方法。
[0006]为实现上述目的，本专利技术采取的技术方案为：
[0007]一种基于锚杆网络的钻锚机器人单目视觉定位方法，该方法包括视觉测量模块、图像处理模块以及视觉机身定向定位模块；
[0008]所述视觉测量模块，该模块由视觉相机、计算机设备、补光灯、Vimba Viewer以及Visual Studio Code和OpenCV的图像处理平台组成；Vimba Viewer通过相对应的接口与相机连接，其主要功能是完成图像的采集和存储；基于Visual Studio Code和OpenCV的图像处理平台其主要功能是对采集到的图像进行预处理和特征点的提取及坐标的存储。
[0009]所述图像处理模块，基于Visual Studio Code和OpenCV的图像处理平台对采集到的图像进行预处理和特征点的提取；图像预处理包括图像增强以及滤波处理。特征点提取包括特征提取、直线拟合以及特征追踪。
[0010]所述机身定向定位模块，该模块首先需要建立相应的坐标系，对视觉相机基于MATALAB进行标定，从而得到钻锚机器人的初始定位，进而推算出航向角以及机身位置，最终求解得到钻锚机器人的绝对位置和姿态。
[0011]下面简述钻锚机器人的定位流程：
[0012](1)建立坐标系统：
[0013](1a)相机与车身刚性联结，相机镜头方向竖直向上，光轴垂直于车身履带系统，理想情况下，光轴始终垂直于巷道顶板和地面。在巷道地面中轴线上建了世界坐标系O
W
X
W
Y
W
Z
W
，其原点O
W
为激光指向仪在巷道地面的投影，激光指向仪为原点有利于位置坐标的统一，世界坐标系取决于掘进路线，激光指向仪所指的方向是掘进方向，用O
W
Z
W
轴表示，垂直于掘进方向，水平向右为水平方向，用O
W
X
W
表示，垂直于O
W
X
W
Y
W
Z
W
平面竖直向上为竖直方向，用O
W
Y
W
表示；
[0014](1b)钻锚机器人车身坐标系O
b
X
b
Y
b
Z
b
与相机坐标系重合，用相机坐标系表示。相机坐标系O
C
X
C
Y
C
Z
C
的原点是相机光心，用O
C
表示，钻锚机器人前进方向为相机的前进方向，用O
C
Z
C
表示，光轴方向为相机的竖直方向，用O
C
Y
C
表示，垂直于O
C
X
C
Y本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于锚杆网络的钻锚机器人单目视觉定位方法，该方法包括视觉测量模块、图像处理模块以及机身定向定位模块；其各个模块的特征在于：所述视觉测量模块，该模块由视觉相机、计算机设备、补光灯、Vimba Viewer以及Visual Studio Code和OpenCV的图像处理平台组成；Vimba Viewer通过相对应的接口与相机连接，其主要功能是完成图像的采集和存储；基于Visual Studio Code和OpenCV的图像处理平台其主要功能是对采集到的图像进行预处理和特征点的提取及坐标的存储。所述图像处理模块，基于Visual Studio Code和OpenCV的图像处理平台对采集到的图像进行预处理和特征点的提取；图像预处理包括图像增强以及滤波处理。特征点提取包括特征提取、直线拟合以及特征追踪。所述机身定向定位模块，该模块首先需要建立相应的坐标系，对视觉相机基于MATALAB进行标定，从而得到钻锚机器人的初始定位，进而推算出航向角以及机身位置，最终求解得到钻锚机器人的绝对位置和姿态。2.如权利要求1所述的一种基于锚杆网络的钻锚机器人单目视觉定位方法，其特征在于：该定位方法依据煤矿井下现有的环境，利用已有的顶板锚杆网络作为自然信标或辅助信标，通过视觉捕捉锚杆端头图像，从而实现掘支锚机组中钻锚机器人无人化定向定位。3.如权利要求1所述的一种基于锚杆网络的钻锚机器人单目视觉定位方法，其特征在于，该定位方法的流程如下：依据巷道中所存在的锚杆网络，利用视觉相机采集顶板上锚杆网络的端头图像，将所采集的图像经由Visual Studio Code和OpenCV的进行图像的预处理，再对预处理后的图像进去特征点提取以及直线拟合，以拟合直线为基准推算航向角的大小，并最终在此解算出钻锚机器人的位置坐标。4.如权利要求2所述的一种基于锚杆网络的钻锚机器人单目视觉定位方法的定位流程，其特征在于：图像的预处理分为图像增强和滤波处理两部分，针对井下黑暗条件，为了增强锚杆端头特征点相对于巷道面界面的对比度，使锚杆端头特征点更为清晰，采用直方图均衡化算法进行图像增强。针对钻锚机器人低频振动和运动过程中的图像模糊，通过最小均方误差滤波即维纳滤波对图像进行滤波处理。5.如权利要求2所述的一种基于锚杆网络的钻锚机器人单目视觉定位方法的定位流程，其特征在于：在进行特征点的提取时，结合了巷道锚杆网络锚杆端头的圆形特征，基于Hough变换对锚杆的端头进行检测，提取出圆形边界及圆心坐标；基于最小二乘法和RANSAC算法对上述在图像范围内提取出的锚杆端头的特征点进行直线拟合，并为相对定位的基准线。6.如权利要求2所述的一种基于锚杆网络的钻锚机器人单目视觉定位方法的定位流程，其特征在于：本专利中通过特征点在图像坐标位置的变化，来实现特征点追踪，追踪原理如说明书附图4，在钻锚机器人连续缓慢移动过程中，第i次采集图像边缘特征点的图像齐次坐标为M
i1
＝[u
i1
,v
i1
,1]
T
，M
i2
＝[u
i2
,v
i2
,1]
T
，第i+1次采集图像中对应特征点的齐次坐标为M
i+11

【专利技术属性】
技术研发人员：郝雪弟，张一鸣，张泽远，张家进，朱晨泽，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：