一种露天矿运行设备的感知方法技术

本发明专利技术目的是针对于露天矿山设备调度存在的问题，提供一种露天矿运行设备的感知方法,属于图像识别技术领域。本发明专利技术的方法包括：步骤1、FasterR

A sensing method of operating equipment in open pit mine

【技术实现步骤摘要】
一种露天矿运行设备的感知方法


[0001]本专利技术属于图像识别
，具体涉及一种露天矿运行设备的感知方法。

技术介绍

[0002]当前露天矿山的调度系统中，电铲铲装和汽车运输环节的周期记录由于司机记录不及时，无法将电铲和汽车运输数据准确对应，极不利于矿山管理。利用露天矿山中设置的摄像头拍摄视频，并感知出视频中的电铲和汽车形貌，实现铲运过程中卡车及电铲的自动识别和记录，能够使工人绩效计算更加精准，调度更加顺畅，大大减小矿山管理难度。
[0003]Faster R
‑
CNN是一种经典的基于深度卷积神经网络的目标检测算法，它能利用自定义图像数据集训练特定的图像目标检测模型，实现对数据集中囊括的所有物体类别的图像定位和种类识别。Faster R
‑
CNN的检测精度在众多目标检测算法当中名列前茅，但是它具有算法运算时间长，检测速度慢的缺点，因此很难实现对视频流的实时检测，这也是它以往没有被应用于露天矿设备感知上的主要原因。
[0004]上述提到的FasterR
‑/>CNN算法虽精度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种露天矿运行设备的感知方法，其特征在于，包括以下步骤：步骤1、Faster R
‑
CNN模型训练步骤1.1、利用摄像头对目标对象所在环境进行视频采集，将视频按帧截取图像数据，并剔除不包含目标对象的图像数据；步骤1.2、将截取的图像数据扩增，获取更多图像数据；步骤1.3、数据集制作；步骤1.4、深度学习目标检测模型建立及模型训练；步骤2、视频关键帧提取步骤2.1、提取待处理视频中所有帧；步骤2.2、初始化从第一帧到最后一帧的循环；步骤2.3、选择当前帧和下一帧；步骤2.4、计算当前帧和下一帧的直方图差值；步骤2.5、计算直方图差值的均值μ和标准差δ；步骤2.6、设定阈值T，通过计算公式：T＝μ+αδ设定，α值取3～5；步骤2.7、重复步骤2.2～2.4，直到当前帧为最后一帧；步骤2.8、比较每一个直方图差值是否大于阈值；步骤2.9、选择满足步骤2.8条件的当前帧为关键帧，并记录当前帧的帧序号；步骤3、模型调用与视觉感知步骤3.1、利用步骤1中训练得到的视觉感知模型对步骤2提取出的关键帧进行目标对象检测，得到带有检测包围框的单张图像；步骤3.2、将检测后带有包围框的单张图像按照步骤2记录的帧序号还原回原视频当中，形成带有检测效果的视频。2.根据权利要求1所述的露天矿运行设备的感知方法，其特征在于，步骤1.2、将截取的图像数据扩增，获取更多图像数据的方法为：步骤1.2.1、采用生成对抗网络进行数据扩增；
①
将采集到的图像数据按图像类别分类，组成只含有单个类别的小数据集；
②
利用各个小数据集分别对生成对抗网络进行数据生成模型训练，得到能够生成各个类别物体的生成模型。
③
调用生成模型定向生成各个种类物体的数字图像；步骤1.2.2、对1.2.1中生成的数字图像进行随机裁剪、随机角度旋转、噪声抖动、RGB强度随机调节，获取更多图像数据。3.根据权利要求1所述的露天矿运行设备的感知方法，其特征在于，步骤1.3、数据集制作的方法为：步骤1.3.1、利用labelimg工具对步骤1.2中获得的图像数据进行数据标注，获得标注数据集；步骤1.3.2、在标注数据集中随机选取一部分图像数据作为Faster R
‑
CNN目标检测训练集，另一部分作为测试集，最后一部分作为验证集。4.根据权利要求1所述的露天矿运...

【专利技术属性】
技术研发人员：徐连生，解治宇，王怀远，马连成，孙效玉，谷传宝，崔新男，王建明，
申请(专利权)人：鞍钢集团矿业有限公司，
类型：发明
国别省市：