基于计算机视觉的矿下钻机钻杆计数方法技术

本发明专利技术公开了一种基于计算机视觉的矿下钻机钻杆计数方法，S1、获取钻杆图像数据，将钻杆图像数据划分为两种类型数据；S2、对两种数据进行图像增强处理；S3、将不同比例的高斯白噪声加入每一张清洗的图像中；S4、样本图片读入后被锁定为一个416*416的图像，每一个图像区域经过Darknet；S5、对图像候选框以及候选框的中心点、宽、高进行分类和回归任务，并修改分类任务的输出设置成1；S6、通过训练最小化损失函数，监测网络输出多个检测候选框；S7、将在检验框中置信度最大的检验框作为输入框，依次计算有重叠的检验框的IOU，当计算的IOU值大于设定阈值时，过滤，并重复步骤S7；S8、采用图像分类、卡尔曼滤波算法和匈牙利算法对监测到的目标进行跟踪计算。标进行跟踪计算。标进行跟踪计算。

【技术实现步骤摘要】
基于计算机视觉的矿下钻机钻杆计数方法


[0001]本专利技术属于井下钻杆计数的
，具体涉及一种基于计算机视觉的矿下钻机钻杆计数方法。

技术介绍

[0002]瓦斯爆炸、突出等瓦斯事故是煤矿生产过程中最大的一类安全隐患。目前煤矿生产中最常用的措施是瓦斯抽采，即通过打钻，利用钻孔(或巷道)、管道和真空泵将煤层或采区内的瓦斯抽至地面，以保证矿井作业的安全进行。
[0003]作为瓦斯抽采第一步工序，打钻需要考虑到打钻深度，由于钻头在煤层中的路径难以获取，一般通过计算钻杆数量来间接计算钻孔深度，以满足钻孔深度设计要求。打钻深度与钻杆数目成直接关系，若打钻深度高出实际深度，将导致瓦斯无法抽取，若打钻深度低于实际深度，极易出现瓦斯泄漏甚至造成瓦斯爆炸。对于瓦斯抽采钻孔深度的测量基本采用随钻测量的方法进行，传统的人工统计钻杆数量的方式存在自动化程度低、受人为因素影响、误差较大等缺点。
[0004]同时，钻孔施工大多以进尺计酬。施工过程中遇坚硬岩层时，施工队为保证施工进度，可能会偷工减料，虚报钻孔深度，给煤矿生产带来巨大安全隐患。
[0005]因此，煤矿会在打钻后进行验钻，但该方法易受人为影响，经常出现漏记、多记、错记等情况。随着监控视频的发展，在煤矿安全生产中得到应用推广，通过人工监看视频进行计数。这种方式最大的问题是不能实时播报打钻深度，出现问题地上监督人员不能及时发出停工警告。且人的精力是有限的，长时间盯着一个地方，人眼会出现疲劳，无法实现实时完整的监控，且在高强度工作环境下难免存在人为的疏忽从而造成计数误差。为降低错误率，需要多人同时计数，并安排专人全程监督，浪费大量人力资源，增加了管理成本，且无法杜绝虚报钻孔深度的现象。
[0006]为降低人员劳动强度并提高准确率，出现了接近开关计数方法、可编程逻辑控制计数方法和基于计算机视觉的计数方法。其中前两者采用接近开关、传感器等装置接收距离参数、发出信号，由技术装置、控制器自动累加计数。后者通过计算机智能分析视频画面计数。
[0007]虽然以上方法都可以达到计数的效果，但井下环境恶劣，潮湿、灰尘多，接近开关容易损坏，使得钻杆计数失效。钻机的打钻过程复杂，打钻和取钻过程不好区分，需要额外安装大量的控制检测设备，而硬件设备的价格通常比较昂贵，这样就需要投入很大的成本，不利于推广。当钻机出现异常或者中断，画面出现强光源或者遮挡，运动目标过快等问题时，机器视觉技术识别效果也会大大降低，易造成统计结果偏差。
[0008]在钻机的钻头处设置标识装置，利用煤矿井下摄像仪拍摄瓦斯抽采钻机的运行图像，并通过以太环网将图像传输给工控机的图像处理系统，从而进行图像预处理、特征提取、目标检测、目标跟踪，最终实现钻杆的自动计数。
[0009]现有技术的计数效果是以现实中采集的视频来进行实验验证的，对钻机的打钻计
数取得了一定的结果，但还没有完全达到实时的监测效果，当钻机出现异常或者中断时，造成错误统计。对于强光源或者遮挡问题，也都没有给出更好的解决办法，当运动目标过快时，也不能达到实时跟踪的效果，从而造成折线图峰值出现错误，进而统计钻杆准确度下降，并不能运用到实际工业生产中。

技术实现思路

[0010]本专利技术的目的在于针对现有技术中的上述不足，提供一种基于计算机视觉的矿下钻机钻杆计数方法，以解决或改善上述的问题。
[0011]为达到上述目的，本专利技术采取的技术方案是：
[0012]一种基于计算机视觉的矿下钻机钻杆计数方法，其包括以下具体步骤：
[0013]S1、获取钻杆图像数据，将钻杆图像数据划分为两种类型数据，并将两种数据分别作为训练监测器的网络和训练重识别的网络的输入；
[0014]S2、对两种数据进行图像增强处理；
[0015]S3、将不同比例的高斯白噪声加入每一张清洗的图像中，模拟二氧化硅和粉尘造成的影响；
[0016]S4、样本图片读入后被锁定为一个416*416的图像，图像包括三个尺度，分别将图像切割成13*13，26*26，52*52个区域，每一个区域经过Darknet；
[0017]S5、对图像中是否含有监测物的候选框以及候选框的中心点、宽、高进行分类和回归任务，并修改分类任务的输出设置成1；
[0018]S6、通过训练最小化损失函数，监测网络输出多个检测候选框，采用非极大抑制算法，对候选框进行一次过滤，将含有目标物体的概率值在0.5以下的部分作为错误预测过滤掉；
[0019]S7、将在检验框中置信度最大的检验框作为输入框，依次计算输入框与候选检验框中有重叠的检验框的IOU，当计算的IOU值大于设定阈值时，过滤，并重复步骤S7，直至剩余候选边界框为零；
[0020]S8、采用图像分类、卡尔曼滤波算法和匈牙利算法对监测到的目标进行跟踪计算。
[0021]进一步地，步骤S1的两种类型的数据包括：第一种类型对应标注文件为(c,x,y,w,h)，第二种为(c,id,x,y,w,h)，其中，c为类型，x,y为钻杆候选框的中心位置坐标，w,h分别为钻杆中心候选框的宽和高，id为钻杆的编号。
[0022]进一步地，步骤S2中的图像增强处理包括：截取、旋转、对称变换、亮度变换和饱和度变换。
[0023]进一步地，候选框中的位置信息的损失为：
[0024][0025]其中，λ
coor
为坐标误差的权重系数，s2为搜索网格总数，B为检测框种数总和，为存在指数，检测器的搜索网格i中有第j种检测框监测到目标时为1，不含监测目标时为0；w
i
，h
i
分别为检测目标框的宽度和高度，w
l
，h
l
分别为标注目标框的宽度和高度，x
i
，y
i
分别为
检测目标框的中心坐标，x
l
，y
l
分别为标注目标框的中心坐标。
[0026]进一步地，每个区域内候选框中物体的类别的损失为：
[0027][0028]其中，λ
cls
为分类误差的权重系数，s2代表搜索网格总数，B为检测框种数总和，为存在指数，检测器的搜索网格i中有第j种检测框监测到目标时为1，不含监测目标时为0；p
i
(c)为目标是c类物体的概率，为检测目标是c类物体的真实值。
[0029]进一步地，对任意区域内含有待检测目标和不含有待检测目标的概率损失为：
[0030][0031][0032]其中，λ
obj
,λ
noobj
分别是含有物体置信度误差的权重系数和不含物体置信度误差的权重系数，s2为搜索网格总数，B为检测框种数总和，为存在指数，检测器的搜索网格i中有第j种检测框监测到目标时为1，不含监测目标时为0，相反；c
i
和分别为置信度的预测值和真实值。
[0033]进一步地，步骤S8中采用角度分类器进行图像分类，包括：...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，包括以下步骤：S1、获取钻杆图像数据，将钻杆图像数据划分为两种类型数据，并将两种数据分别作为训练监测器的网络和训练重识别的网络的输入；S2、对两种数据进行图像增强处理；S3、将不同比例的高斯白噪声加入每一张清洗的图像中，模拟二氧化硅和粉尘造成的影响；S4、样本图片读入后被锁定为一个416*416的图像，图像包括三个尺度，分别将图像切割成13*13，26*26，52*52个区域，每一个区域经过Darknet；S5、对图像中是否含有监测物的候选框以及候选框的中心点、宽、高进行分类和回归任务，并修改分类任务的输出设置成1；S6、通过训练最小化损失函数，监测网络输出多个检测候选框，采用非极大抑制算法，对候选框进行一次过滤，将含有目标物体的概率值在0.5以下的部分作为错误预测过滤掉；S7、将在检验框中置信度最大的检验框作为输入框，依次计算输入框与候选检验框中有重叠的检验框的IOU，当计算的IOU值大于设定阈值时，过滤，并重复步骤S7，直至剩余候选边界框为零；S8、采用图像分类、卡尔曼滤波算法和匈牙利算法对监测到的目标进行跟踪计算。2.根据权利要求1所述的基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，所述步骤S1的两种类型的数据包括：第一种类型对应标注文件为(c，x，y，w，h)，第二种为(c，id,x,y,w,h)，其中，c为类型，x,y为钻杆候选框的中心位置坐标，w,h分别为钻杆中心候选框的宽和高，id为钻杆的编号。3.根据权利要求1所述的基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，所述步骤S2中的图像增强处理包括：截取、旋转、对称变换、亮度变换和饱和度变换。4.根据权利要求1所述的基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，所述候选框中的位置信息的损失为：其中，λ
coor
为坐标误差的权重系数，s2为搜索网格总数，B为检测框种数总和，为存在指数，检测器的搜索网格i中有第j种检测框监测到目标时为1，不含监测目标时为0；w
i
，h
i
分别为检测目标框的宽度和高度，w
l
，h
l
分别为标注目标框的宽度和高度，x
i
，y
i
分别为检测目标框的中心坐标，x
l
，y
l
分别为标注目标框的中心坐标。5.根据权利要求1所述的基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，每个区域内候选框中物体的类别的损失为：其中，λ
cls
为分类误差的...

【专利技术属性】
技术研发人员：李映萱，陈俊星，闫启宏，
申请(专利权)人：成都光束慧联科技有限公司，
类型：发明
国别省市：