一种基于机器视觉的煤矿井下钻杆计数方法技术

本发明专利技术提供了一种基于机器视觉的煤矿井下钻杆计数方法，属于钻杆计数技术领域；解决了现有通过机器视觉进行钻杆计数的方法存在精度低且误差大的问题；包括如下步骤：在钻机机械臂上设置特征标靶，并获取带有特征标靶的井下钻机施工视频作为数据集；对数据集进行预处理；构建并训练基于深度学习的目标检测模型，将预处理后的视频输入目标检测模型，检测钻机机械臂上的特征标靶；检测到特征标靶后，结合目标检测结果，利用视觉SLAM技术获得机械臂特征标靶的运动轨迹；利用特征标靶的运动轨迹判断钻机机械臂是否存在上杆和卸杆动作；通过对比根据上杆和卸杆动作获得的钻杆数值是否一样，确定打入钻杆数量；本发明专利技术应用于煤矿井下钻杆计数。井下钻杆计数。井下钻杆计数。

【技术实现步骤摘要】
一种基于机器视觉的煤矿井下钻杆计数方法


[0001]本专利技术提供了一种基于机器视觉的煤矿井下钻杆计数方法，属于钻杆计数


技术介绍

[0002]目前煤矿开采深度不断增加，煤层瓦斯含量也随着开采深度的增加而显著增大，容易发生瓦斯突出灾害。预抽煤层瓦斯是防止瓦斯突出灾害的主要手段。预抽煤层瓦斯主要通过在井下钻孔来实施，此方法能够有效降低煤层瓦斯含量和压力，而钻孔的深度有一定要求，一般通过统计打入煤层钻杆数的方式来间接计算钻孔的深度。
[0003]传统的矿井钻机钻杆计数方法主要有人工计数法、传感器计数法等。人工计数法由工作人员现场观察记录钻杆数量，但是长时间工作容易让人产生疲惫，导致计数错误，且耗时耗力，自动化水平低。传感器计数法是在钻机机械臂上安装传感器，由电控箱采集传感器数据并进行数据预处理，然后得出钻杆数量，但是在粉尘、潮湿等恶劣环境下传感器极易损坏，从而导致计数出现错误。
[0004]随着机器视觉技术的发展，其在多个领域表现出了优势，而对于钻杆数量的计算近年来也有不同的学者提出了不同的方案，如申请号为202110422894.3的专利公开了一种基于机器视觉的煤矿井下打钻数量统计方法，主要是通过图像识别钻机动力头位置对钻机的运动周期进行识别计算，从而根据钻机周期进行钻杆计数；申请号为202210149397.5的专利公开了一种基于机器视觉的井下钻杆自动计数的方法，主要是通过图像识别画出钻杆和钻机的周期性运动波形图计算钻杆进杆的数目；如申请号为202210378082.8的专利公开了一种基于机器视觉的井下钻杆计数方法，主要是通过图像识别作业人员的骨架姿态，从而根据作业人员的骨架姿态判断是上杆还是卸杆，实现钻杆计数。
[0005]上述技术方案分别通过不同的方法实现了钻杆计数的判断及统计，但是上述方法中对于钻杆机上杆、斜杆动作的识别都是依赖于当前的图像进行识别的，没有经过训练，由于煤矿井下环境的影响，往往会造成识别的精度不高且误差大的问题。

技术实现思路

[0006]本专利技术为了解决现有通过机器视觉进行钻杆计数的方法存在精度低且误差大的问题，提出了一种基于机器视觉的煤矿井下钻杆计数方法。
[0007]为了解决上述技术问题，本专利技术采用的技术方案为：一种基于机器视觉的煤矿井下钻杆计数方法，包括如下步骤：
[0008]S100：在钻机机械臂上设置特征标靶，并获取上述带有特征标靶的井下钻机施工视频作为数据集；
[0009]S200：对数据集进行预处理，增加视频中图像的亮度；
[0010]S300：构建并训练基于深度学习的目标检测模型，将预处理后的视频输入目标检测模型，检测钻机机械臂上的特征标靶；
[0011]S400：检测到钻机机械臂上的特征标靶后，结合目标检测结果，利用视觉SLAM技术获得机械臂特征标靶的运动轨迹；
[0012]S500：利用钻机机械臂上的特征标靶的运动轨迹判断钻机机械臂是否存在上杆和卸杆动作，若存在上杆和卸杆动作时，分别累积出视频流中上杆和卸杆动作的次数；
[0013]S600：通过对比根据上杆和卸杆动作获得的钻杆数值是否一样，确定打入钻杆数量，若上杆和卸杆动作数量一致说明打入钻杆的数值正确；若上杆和卸杆动作数量不一致则需要人工干预，得出准确的钻杆数量。
[0014]所述步骤S200中预处理是通过引入限制对比度自适应直方图均衡化处理步骤S100中采集到的钻机施工视频中的每一帧图像，增加视频的亮度。
[0015]所述步骤S300中基于深度学习的目标检测模型具体采用改进的YOLOv5s模型，所述改进的YOLOv5s模型在传统YOLOv5s模型的CSP模块后面插入坐标注意力机制提升特征提取网络深度。
[0016]所述步骤S400中利用视觉SLAM技术获得机械臂特征标靶的运动轨迹的步骤如下：
[0017]在获取特征标靶的运动轨迹时，在基于ORB
‑
SLAM3的视觉SLAM跟踪算法后面增加一个剔除静态特征点的模块，仅使用动态的机械臂特征标靶来估计相邻帧之间的位姿变化，消除机械臂上的特征标靶运动轨迹过程中环境中静态目标的干扰。
[0018]所述步骤S500中使用卷积神经网络模型，根据上杆和卸杆时特征标靶运动轨迹不同判断钻机工作状态；
[0019]所述步骤S500中的钻杆计数方法需要对钻机工作视频进行降帧处理，将原视频变为3帧/s，当检测到上杆或卸杆动作，且动作之间间隔3s及以上，钻杆数量累加一根。
[0020]所述步骤S500中判断钻机工作状态的步骤为：
[0021]S501：将特征标靶设定在钻机机械臂的夹持器上，通过目标检测模型判断上杆和卸杆时的特征标靶运动轨迹，上杆时夹持器需要先从初始位置移动到钻杆库夹持一根钻杆，然后夹持器移动到固定位置将钻杆放在推进马达行进路径上，最后夹持器返回初始位置；卸杆时夹持器需要直接运动到固定位置将推进马达上的钻杆夹持下来，然后夹持着钻杆向钻杆库运动，将钻杆放回钻杆库，最后夹持器返回初始位置；
[0022]S502：分别制作上杆和卸杆时特征标靶运动轨迹数据集，将数据集分为训练集和验证集，然后使用训练集训练卷积神经网络模型，训练结束后利用验证集测试训练后的卷积神经网络模型的钻机运动状态检测能力；
[0023]S503：将步骤S501获得的特征标靶运动轨迹输入训练后的卷积神经网络模型，得到此时钻机的工作状态。
[0024]所述步骤S500中累积出上杆和卸杆次数的方法为：
[0025]在步骤S501中识别到钻机上杆动作后，对钻机动作进行跟踪，将钻杆全部打入煤层后上杆动作结束，此时将检测不出上杆动作，若上杆动作之间间隔3s及以上，则认为完成一次上杆作业，钻杆数量累加一根；
[0026]同上杆次数统计方法一样，识别到钻机卸杆动作后，对钻机动作进行跟踪，将煤层中的钻杆拧出后卸杆动作结束，此时将检测不出卸杆动作，若卸杆动作之间间隔3s及以上，则认为完成一次卸杆作业，钻杆数量累加一根。
[0027]本专利技术相对于现有技术具备的有益效果为：本专利技术提供的基于机器视觉的煤矿井
下钻杆计数方法可以对钻杆进行自动精准计数，提升了工作效率，减少了人工成本，提高了工作人员人身安全系数。
附图说明
[0028]下面结合附图对本专利技术做进一步说明：
[0029]图1为本专利技术钻杆计算方法的流程图；
[0030]图2为本专利技术改进的YOLOv5s网络结构图；
[0031]图3为本专利技术统计钻杆数量的流程图。
具体实施方式
[0032]如图1至图3所示，本专利技术提供了一种基于机器视觉的煤矿井下钻杆计数方法，主要包括如下步骤：
[0033]S100：获取井下钻机施工视频；
[0034]S200：由于井下光照条件较差，引入限制对比度自适应直方图均衡化处理S100中采集到的钻机施工视频中的每一帧图像，增加视频的亮度；
[0035]S300：将视频输入基于深度学习的目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的煤矿井下钻杆计数方法，其特征在于：包括如下步骤：S100：在钻机机械臂上设置特征标靶，并获取上述带有特征标靶的井下钻机施工视频作为数据集；S200：对数据集进行预处理，增加视频中图像的亮度；S300：构建并训练基于深度学习的目标检测模型，将预处理后的视频输入目标检测模型，检测钻机机械臂上的特征标靶；S400：检测到钻机机械臂上的特征标靶后，结合目标检测结果，利用视觉SLAM技术获得机械臂特征标靶的运动轨迹；S500：利用钻机机械臂上的特征标靶的运动轨迹判断钻机机械臂是否存在上杆和卸杆动作，若存在上杆和卸杆动作时，分别累积出视频流中上杆和卸杆动作的次数；S600：通过对比根据上杆和卸杆动作获得的钻杆数值是否一样，确定打入钻杆数量，若上杆和卸杆动作数量一致说明打入钻杆的数值正确；若上杆和卸杆动作数量不一致则需要人工干预，得出准确的钻杆数量。2.根据权利要求1所述的一种基于机器视觉的煤矿井下钻杆计数方法，其特征在于：所述步骤S200中预处理是通过引入限制对比度自适应直方图均衡化处理步骤S100中采集到的钻机施工视频中的每一帧图像，增加视频的亮度。3.根据权利要求2所述的一种基于机器视觉的煤矿井下钻杆计数方法，其特征在于：所述步骤S300中基于深度学习的目标检测模型具体采用改进的YOLOv5s模型，所述改进的YOLOv5s模型在传统YOLOv5s模型的CSP模块后面插入坐标注意力机制提升特征提取网络深度。4.根据权利要求3所述的一种基于机器视觉的煤矿井下钻杆计数方法，其特征在于：所述步骤S400中利用视觉SLAM技术获得机械臂特征标靶的运动轨迹的步骤如下：在获取特征标靶的运动轨迹时，在基于ORB
‑
SLAM3的视觉SLAM跟踪算法后面增加一个剔除静态特征点的模块，仅使用动态的机械臂特征标靶来估计相邻帧之间的位姿变化，消除机械臂上的特征标靶运动轨迹过程中环境中静态目标的干...

【专利技术属性】
技术研发人员：庞宏，罗明坤，孔鹏，南戟文，何良，程冠宇，王锟，张彩翔，闫沁江，郑勋，王剑，朱长义，王浩然，耿毅德，陶磊，闫志蕊，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：