一种用于地面运动皮带上实时煤矸石定位识别方法技术

本发明专利技术公开了一种用于地面运动皮带上实时煤矸石定位识别方法，具体包括如下步骤：步骤1，数据集建立；步骤2，训练目标检测模型；步骤3，实时图像采集：通过有线网络摄像头将地面运动皮带上煤矸石实时图像传送至工控机处理实时视频流；步骤4，提取模型检测实时视频，统计实时视频中目标物类别；步骤5，基于步骤4确定的目标物类别，计算煤矸石大小并确定相对位置。本发明专利技术采用图像识别运动皮带上的煤矸石，解决了射线方法对环境的污染问题。

【技术实现步骤摘要】
一种用于地面运动皮带上实时煤矸石定位识别方法
本专利技术属于图像处理
，涉及一种用于地面运动皮带上实时煤矸石定位识别方法。
技术介绍
在煤矿企业开采过程中，采煤面具有不同灰分的矸石，经过皮带运输系统运输上煤楼，工人通过经验检测皮带上目标物为煤块或矸石，并手动对检测结果进行分类。随着传感器技术与图像处理技术的发展，如何实时自动检测煤矸石目标物，对目标物进行定位分类，从而将运动皮带上目标信息数据化成为需要考虑的问题。同时，如何将检测的像素信息转化为物理信息，便于为后续反馈设备、储存设备进行反馈或储存，避免像素信息实用性差等问题。当前检测方法主要为人工检测、射线检测或视觉检测三种方式，人工检测受工人主观性经验影响较大，存在人为检测率较低等问题；中国专利(申请号：ZL200910107879.9，申请号：一种煤矸石自动分选机，申请日：20090616)公开了一种煤矸石自动分选机”，通过输送带下方的单能伽玛射线区分煤矸石目标物类别，造价相对较高，对环境有所危害；中国专利(申请号：ZL201610885658.4)，公开了一种视觉识别煤和煤矸石并用机械手进行分离的系统”，通过视背景识别法定位煤矸石目标物，这种方法能够快速定位煤矸石目标，存在易受皮带上杂物干扰的问题；通过神经网络检测，一般通用网络无法直接应用在煤矸石背景下，且模型误差需要修正等现状，有必要提出进一步改进方案。
技术实现思路
本专利技术的目的是提供一种用于地面运动皮带上实时煤矸石定位识别方法，该方法采用图像识别运动皮带上的煤矸石，解决了射线方法对环境的污染问题。本专利技术所采用的技术方案是，一种用于地面运动皮带上实时煤矸石定位识别方法，具体包括如下步骤：步骤1，数据集建立；步骤2，训练目标检测模型；步骤3，实时图像采集：通过有线网络摄像头将地面运动皮带上煤矸石实时图像传送至工控机处理实时视频流；步骤4，提取模型检测实时视频，统计实时视频中目标物类别；步骤5，基于步骤4确定的目标物类别，计算煤矸石大小并确定相对位置。本专利技术的特点还在于，步骤1的具体过程为：步骤101，数据集数据搜集；查询原有地面运动皮带历史视频，选取皮带上存在运动煤矸石目标的视频段，手动将选取的视频段拆分为单帧图像；步骤102，数据图像归一化；将步骤101拆分后的单帧图像进行图像大小归一化，得到大小统一的归一化图像；步骤103，图像数据模糊；选取20～50％经步骤102归一化后的数据图像进行高斯滤波，得到仿照水雾环境的数据集图像，将该仿照水雾环境的数据集图像与未进行高斯滤波的数据集进行融合，得到完整的煤矸石数据集；步骤104，将步骤103得到的数据集进行标注；应用labelme对将步骤103得到的数据集图像进行标注，采用矩形标注的形式对图像内所有目标物进行二分类标注；其中a类为运动皮带上的煤块，b类为运动皮带上的矸石块；步骤105，对步骤104标注后的数据集均衡化；选取数据集a类运动皮带上的煤块、b类运动皮带上的矸石块之中图片数据相对较少一类，进行边界框操作，得到数据量相对均衡的煤矸石数据集，完成对煤矸石数据集的建立。步骤105中的边框操作为旋转、翻转、图像均衡化操作。步骤2的具体过程为：步骤201，改变原有YOLO网络结构；对原有YOLO_v3中Darknet-53网络去除末端全连接层与末端的四个残差块，得到能够检测宽度为80～300mm的煤矸石的43层网络结构；步骤202，通过如下模型损失公式(1)，得到YOLO模型的损失函数；loss＝xy_loss+wh_loss+con_loss+α×class_loss(1)；其中，模型损失分为四类，loss为模型损失，xy_loss为目标中心坐标(x,y)的损失，wh_loss为目标长宽距离w、h的损失，con_loss为置信度损失，class_loss为分类损失，α为类别权重，(x,y)为预测矩形框左上顶点像素坐标，w、h为预测矩形框像素宽、长；步骤203，从步骤1建立的数据集中提取训练集数据；将步骤1所得的煤矸石数据集划分为训练数据集与测试训练集，提取划分完成的训练集煤矸石数据；步骤204，带入改进YOLO模型；将步骤203所得的训练集煤矸石数据带入改进YOLO模型，得到输出煤矸石识别模型并保存。步骤4的具体过程为：步骤401，对步骤3采集的实时视频进行归一化，统一现场实时视频图像大小；步骤402，将步骤401归一化后的实时图像进行均匀减帧，得到均匀减帧的视频流；步骤403，将步骤402得到的均匀减帧的视频流图像窗口均匀分为三部分，图像最上部分S1为预备检测区，图像第二部分S2为检测区，图像最下部分S3为候补检测区；步骤404，将步骤403划分后的图像带入步骤2训练完成的模型，得到经过模型预测的目标中心坐标、目标大小、目标类别三类数据；步骤405，提取步骤404输出的目标中心坐标、目标大小、目标类别信息，对视频流中当前帧的检测结果进行质心与矩形标注，将单目标物检测类别实时标注在矩形标注左上角；步骤406，对步骤405标注后的目标物类别进行统计并固定；当目标物x1出现，目标质心在预备检测区S1，不对目标进行统计；当目标物x1流经预备检测区S1，目标质心出现在检测区S2时，开始统计每帧目标物x1类别；当目标物x1流经检测区S2，目标质心出现在候补检测区S3，结束对目标物x1类别统计；通过统计目标物x1在统计中出现煤块和矸石块这两个类别的次数，出现次数多的类别为目标物x1的固定类别。步骤406的具体过程为：设置参数初始值为0；目标物x1质心在统计区域S2中时，当目标物x1当前检测为煤块，参数当目标物x1当前检测为矸石块，参数当目标物x1质心离开统计区域S2时，若参数则目标物x1固定为煤块，若参数则目标物x1固定为矸石块。步骤5的具体步骤为：步骤501，提取步骤404实时输出的三类数据，读取实时经过模型检测的视频；步骤502，判断当前检测帧是否存在新增固定目标物类别，若存在，运行步骤503，若不存在，运行下一帧并执行步骤501；步骤503，将新增目标物的像素坐标系转化为世界坐标系，得到像素坐标转化为世界坐标的系数β；步骤504，计算煤矸石目标物大小与相距皮带边沿距离。提取目标物矩形标注的四种参数xs,ys,ws,hs，通过如下公式(2)确定煤矸石目标物的大小如下公式(3)、(4)所示；同时通过如下公式(2)确定煤矸石目标物距皮带边沿的距离如下公式(5)所示：(xs,ys,ws,hs)＝β(x,y,w,h)(2)；ws＝βw(3)；hs＝βh(4)；xs＝βx(5)；xs为目标距离图像左边沿位置的实际距离，ys为目标距离图像上边沿位置的实际距离，本文档来自技高网...

【技术保护点】
1.一种用于地面运动皮带上实时煤矸石定位识别方法，其特征在于：具体包括如下步骤：/n步骤1，数据集建立；/n步骤2，训练目标检测模型；/n步骤3，实时图像采集：通过有线网络摄像头将地面运动皮带上煤矸石实时图像传送至工控机处理实时视频流；/n步骤4，提取模型检测实时视频，统计实时视频中目标物类别；/n步骤5，基于步骤4确定的目标物类别，计算煤矸石大小并确定相对位置。/n

【技术特征摘要】
1.一种用于地面运动皮带上实时煤矸石定位识别方法，其特征在于：具体包括如下步骤：
步骤1，数据集建立；
步骤2，训练目标检测模型；
步骤3，实时图像采集：通过有线网络摄像头将地面运动皮带上煤矸石实时图像传送至工控机处理实时视频流；
步骤4，提取模型检测实时视频，统计实时视频中目标物类别；
步骤5，基于步骤4确定的目标物类别，计算煤矸石大小并确定相对位置。


2.根据权利要求1所述的一种用于地面运动皮带上实时煤矸石定位识别方法，其特征在于：所述步骤1的具体过程为：
步骤101，数据集数据搜集；
查询原有地面运动皮带历史视频，选取皮带上存在运动煤矸石目标的视频段，手动将选取的视频段拆分为单帧图像；
步骤102，数据图像归一化；
将步骤101拆分后的单帧图像进行图像大小归一化，得到大小统一的归一化图像；
步骤103，图像数据模糊；
选取20～50％经步骤102归一化后的数据图像进行高斯滤波，得到仿照水雾环境的数据集图像，将该仿照水雾环境的数据集图像与未进行高斯滤波的数据集进行融合，得到完整的煤矸石数据集；
步骤104，将步骤103得到的数据集进行标注；
应用labelme对将步骤103得到的数据集图像进行标注，采用矩形标注的形式对图像内所有目标物进行二分类标注；其中a类为运动皮带上的煤块，b类为运动皮带上的矸石块；
步骤105，对步骤104标注后的数据集均衡化；
选取数据集a类运动皮带上的煤块、b类运动皮带上的矸石块之中图片数据相对较少一类，进行边界框操作，得到数据量相对均衡的煤矸石数据集，完成对煤矸石数据集的建立。


3.根据权利要求2所述的一种用于地面运动皮带上实时煤矸石定位识别方法，其特征在于：所述步骤105中的边框操作为旋转、翻转、图像均衡化操作。


4.根据权利要求1所述的一种用于地面运动皮带上实时煤矸石定位识别方法，其特征在于：所述步骤2的具体过程为：
步骤201，改变原有YOLO网络结构；
对原有YOLO_v3中Darknet-53网络去除末端全连接层与末端的四个残差块，得到能够检测宽度为80～300mm的煤矸石的43层网络结构；
步骤202，通过如下模型损失公式(1)，得到YOLO模型的损失函数；
loss＝xy_loss+wh_loss+con_loss+α×class_loss(1)；
其中，模型损失分为四类，loss为模型损失，xy_loss为目标中心坐标(x,y)的损失，wh_loss为目标长宽距离w、h的损失，con_loss为置信度损失，class_loss为分类损失，α为类别权重，(x,y)为预测矩形框左上顶点像素坐标，w、h为预测矩形框像素宽、长；
步骤203，从步骤1建立的数据集中提取训练集数据；
将步骤1所得的煤矸石数据集划分为训练数据集与测试训练集，提取划分完成的训练集煤矸石数据；
步骤204，带入改进YOLO模型；
将步骤203所得的训练集煤矸石数据带入改进YOLO模型，得到输出煤矸石识别模型并保存。


5.根据...

【专利技术属性】
技术研发人员：杜京义，郝乐，陈宇航，汶武，董刚，胡伟杰，井萌，刘赟超，闫爱军，
申请(专利权)人：西安科技大学，
类型：发明
国别省市：陕西;61