基于深度学习和机器视觉的矿用电铲铲斗健康监测方法技术

本发明专利技术属于露天矿电铲铲斗健康监测技术领域，具体是基于深度学习和机器视觉的矿用电铲铲斗健康监测方法。包括以下步骤：一、图像获取，从摄像头采集铲斗工作视频,将能看到铲斗各部位的图像保存为图像文件；二、图像准备，对各部位进行人工标记得到XML文件，分成训练集和验证集；三、训练预处理，将XML文件转为TFRecord格式文件，最后作成PBTXT文件；四、实施训练，设置管道配置文件，训练得到三个结果，生成冻结推理图文件；五、铲斗健康监测，采集铲斗工作视频输入LabVIEW开发环境，按照各部位监测算法进行实时的铲斗健康监测；六、报警，监测到部件脱落，触发声光报警。本发明专利技术解决了传统方法只能识别铲斗斗齿脱落的问题，能够监测电铲铲斗各部位是否脱落。电铲铲斗各部位是否脱落。电铲铲斗各部位是否脱落。

【技术实现步骤摘要】
基于深度学习和机器视觉的矿用电铲铲斗健康监测方法


[0001]本专利技术属于露天矿电铲铲斗健康监测
，具体基于深度学习和机器视觉的矿用电铲铲斗健康监测方法。

技术介绍

[0002]露天矿生产作业中矿用电铲是重要的采掘装备，电铲铲斗和矿石相互作用，需要承受冲击载荷以及剪切和挤压作用力，铲斗上固定在一起的各部件容易断裂、松动或脱落。这些由高锰钢或合金钢材料制成的铲斗部件如果随着矿石一起进入下游破碎环节，很容易引起破碎机损坏，造成生产线停机维修，导致巨大的经济损失。而电铲操作人员不可能实时肉眼观察铲斗状态，使得铲斗部件脱落事故时有发生。
[0003]在电铲铲斗健康监测方面，国内外学者和企业做了大量的工作，包括利用红外热成像仪对电铲斗齿进行热成像来实现斗齿缺失监测、基于深度学习卷积神经网络的电铲斗齿脱落检测、基于图像识别的斗齿监控等。这些方法只能对电铲斗齿脱落进行监测，而电铲铲斗是由若干个部件固定在一起的，不仅是斗齿，其他部件也有概率会脱落。而且电铲在采掘生产中，铲斗不可避免的会被泥土等污渍覆盖，增加了识别难度，同时夜间也会进行生产作业，加上光照不足，使得误报警比较频繁。

技术实现思路

[0004]为解决上述技术问题，本专利技术的目的是提供基于深度学习和机器视觉的矿用电铲铲斗健康监测方法，通过深度学习进行电铲铲斗各部位识别模型的训练，再结合机器视觉技术对铲斗各部位是否脱落进行监测和报警，可以提升电铲工作效率，保护后续生产工艺设备。
[0005]本专利技术为实现上述目的所采用的技术方案是：基于深度学习和机器视觉的矿用电铲铲斗健康监测方法，包括以下步骤：
[0006]获取铲斗图像；对于每个铲斗图像，对铲斗各部位进行标记得到带有标记信息的文件，构成数据集；
[0007]根据数据集对神经网络模型进行训练，得到训练好的神经网络模型作为铲斗识别模型；
[0008]将实时采集的铲斗图像通过铲斗识别模型识别出铲斗各部位，再对各部位进行实时的铲斗健康监测。
[0009]所述对铲斗各部位进行标记得到带有标记信息的文件，包括以下步骤：
[0010]对铲斗图像的各部位进行标记，得到每个铲斗图像带有标记信息的XML文件；
[0011]所述标记信息用于表示铲斗各部位，包括斗齿、钩铁、异形、A形、铲斗。
[0012]所述根据数据集对神经网络模型进行训练前，对数据集进行预处理，包括以下步骤：
[0013]在数据集中，分别将训练集和验证集中带标记信息的文件转为CSV文件；
[0014]分别将训练集和验证集中的CSV文件转为TFRecord格式文件；
[0015]依据待识别各对象作成PBTXT文件，所述PBTXT文件包括需要识别的铲斗各部位。
[0016]所述根据数据集对神经网络模型进行训练，包括以下步骤：
[0017]将TFRecord格式文件、PBTXT文件导入神经网络模型，进行训练，得到训练结果文件；
[0018]根据训练结果文件生成固化好的用于表达神经网络模型的冻结推理图文件，完成训练。
[0019]所述对各部位进行实时的铲斗健康监测，包括斗齿脱落识别，执行以下步骤：
[0020]5‑
1、初始化铲斗识别率为H，斗齿识别率为K1，斗齿1至斗齿n检查次数为N；识别率用于表示机器视觉结合冻结推理图文件对于识别对象的匹配程度，最大值是1，代表识别对象完全匹配；最小值是0；当识别到铲斗并且识别到斗齿1
‑
n时，将对应斗齿的检查次数重置为N；当识别到铲斗并且没有识别到某个斗齿时，将对应斗齿的检查次数减1，检查次数为0时触发报警；
[0021]5‑
2、对于识别出有铲斗出现的实时铲斗图像，判断识别率是否大于等于H，若是则进行下一步，否则返回步骤5
‑
2；
[0022]5‑
3、识别出有斗齿出现并且识别率大于等于K1，若是则进行下一步，否则返回步骤5
‑
2；
[0023]5‑
4、获取识别出的铲斗坐标及宽度，在X坐标方向把铲斗平均分为n等份，计算每等份中心位置，从左到右分别是1
‑
n等份中心位置；
[0024]5‑
5、遍历所有斗齿，识别出斗齿坐标，计算每个斗齿中心X坐标，判断是否在铲斗1
‑
n等份中心偏差设定范围内；如果是则进行下一步，否则开始步骤5
‑
7；
[0025]5‑
6、设置步骤5
‑
5识别到的斗齿检查次数为N；
[0026]5‑
7、所有斗齿1
‑
斗齿n检查次数减1；
[0027]5‑
8、判断斗齿1
‑
斗齿n检查次数是否为0，如果是则进行下一步，否则返回5
‑
2；
[0028]5‑
9、触发检查次数为0的斗齿报警，返回步骤5
‑
2。
[0029]所述对各部位进行实时的铲斗健康监测，包括钩铁脱落的识别，执行以下步骤：
[0030]6‑
1、初始化铲斗识别率为H，钩铁识别率为K2，钩铁1
‑
钩铁m检查次数为N；当识别到铲斗并且识别到钩铁1
‑
钩铁m时，会将对应钩铁的检查次数重置为N；当识别到铲斗并且没有识别到某个钩铁时，会将对应钩铁的检查次数减1，检查次数为0时会触发报警；
[0031]6‑
2、对于识别出有铲斗出现的实时铲斗图像，判断识别率是否大于等于H，若是则进行下一步，否则返回步骤6
‑
2；
[0032]6‑
3、识别出有钩铁出现并且识别率大于等于K2，若是则进行下一步，否则返回步骤6
‑
2；
[0033]6‑
4、获取识别出的铲斗坐标及宽度，在X坐标方向把铲斗平均分为p等份，从左到右第2到第p
‑
1份的p
‑
2等份分别对应钩铁1
‑
m位置；
[0034]6‑
5、遍历所有钩铁，识别出钩铁坐标，判断是否在铲斗p
‑
2等份范围内，如果是则进行下一步，否则开始步骤6
‑
7；
[0035]6‑
6、设置步骤6
‑
5识别到的钩铁检查次数为N；
[0036]6‑
7、所有钩铁1
‑
钩铁m检查次数减1；
[0037]6‑
8、判断钩铁1
‑
钩铁m检查次数是否为0，如果是则进行下一步，否则返回6
‑
2；
[0038]6‑
9、触发检查次数为0的钩铁报警，返回步骤6
‑
2。
[0039]所述对各部位进行实时的铲斗健康监测，包括异形、A形脱落识别，执行以下步骤：
[0040]7‑
1、初始化铲斗识别率为H，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习和机器视觉的矿用电铲铲斗健康监测方法，其特征在于，包括以下步骤：获取铲斗图像；对于每个铲斗图像，对铲斗各部位进行标记得到带有标记信息的文件，构成数据集；根据数据集对神经网络模型进行训练，得到训练好的神经网络模型作为铲斗识别模型；将实时采集的铲斗图像通过铲斗识别模型识别出铲斗各部位，再对各部位进行实时的铲斗健康监测。2.根据权利要求1所述的基于深度学习和机器视觉的矿用电铲铲斗健康监测方法，其特征在于，所述对铲斗各部位进行标记得到带有标记信息的文件，包括以下步骤：对铲斗图像的各部位进行标记，得到每个铲斗图像带有标记信息的XML文件；所述标记信息用于表示铲斗各部位，包括斗齿、钩铁、异形、A形、铲斗。3.根据权利要求1所述的基于深度学习和机器视觉的矿用电铲铲斗健康监测方法，其特征在于，所述根据数据集对神经网络模型进行训练前，对数据集进行预处理，包括以下步骤：在数据集中，分别将训练集和验证集中带标记信息的文件转为CSV文件；分别将训练集和验证集中的CSV文件转为TFRecord格式文件；依据待识别各对象作成PBTXT文件，所述PBTXT文件包括需要识别的铲斗各部位。4.根据权利要求1所述的基于深度学习和机器视觉的矿用电铲铲斗健康监测方法，其特征在于，所述根据数据集对神经网络模型进行训练，包括以下步骤：将TFRecord格式文件、PBTXT文件导入神经网络模型，进行训练，得到训练结果文件；根据训练结果文件生成固化好的用于表达神经网络模型的冻结推理图文件，完成训练。5.根据权利要求1所述的基于深度学习和机器视觉的矿用电铲铲斗健康监测方法，其特征在于，所述对各部位进行实时的铲斗健康监测，包括斗齿脱落识别，执行以下步骤：5
‑
1、初始化铲斗识别率为H，斗齿识别率为K1，斗齿1至斗齿n检查次数为N；识别率用于表示机器视觉结合冻结推理图文件对于识别对象的匹配程度，最大值是1，代表识别对象完全匹配；最小值是0；当识别到铲斗并且识别到斗齿1
‑
n时，将对应斗齿的检查次数重置为N；当识别到铲斗并且没有识别到某个斗齿时，将对应斗齿的检查次数减1，检查次数为0时触发报警；5
‑
2、对于识别出有铲斗出现的实时铲斗图像，判断识别率是否大于等于H，若是则进行下一步，否则返回步骤5
‑
2；5
‑
3、识别出有斗齿出现并且识别率大于等于K1，若是则进行下一步，否则返回步骤5
‑
2；5
‑
4、获取识别出的铲斗坐标及宽度，在X坐标方向把铲斗平均分为n等份，计算每等份中心位置，从左到右分别是1
‑
n等份中心位置；5
‑
5、遍历所有斗齿，识别出斗齿坐标，计算每个斗齿中心X坐标，判断是否在铲斗1
‑
n等份中心偏差设定范围内；如果是则进行下一步，否则开始步骤5
‑
7；5
‑
6、设置步骤5
‑
5识别到的斗齿检查次数为N；
5
‑
7、所有斗齿1
‑
斗齿n检查次数减1；5
‑
8、判断斗齿1
‑
斗齿n检查次数是否为0，如果是则进行下一步，否则返回5
‑
2；5
‑
9、触发检查次数为0的斗齿报警，返回步骤5
‑
2。6.根据权利要求1所述的基于深度学习和机器视觉的矿用电铲铲斗健康监测方法，其特征在于，所述对各部位进行实时的铲斗健康监测，包括钩铁脱落的识别，执行以下步骤：6
‑
1、初始化铲斗识别率为H，钩铁识别率为K2，钩铁1
‑
钩铁m检查次数为N；当识别到铲斗并且识别到钩铁1
‑
钩铁m时，会将对应钩铁的检查次数重置为N；当识别到铲斗并且没有识别到某个钩铁时，会将对应钩铁的检查次数减1，检查次数为0时会触发报警；6
‑
2、对于识别出有铲斗出现的实时铲斗图像，判断识别率是否大于等于H，若是则...

【专利技术属性】
技术研发人员：姚江，王智强，夏铁峰，李晓亮，肖海波，闫东，王凯富，翟磊，薛印波，
申请(专利权)人：沈阳中科奥维科技股份有限公司，
类型：发明
国别省市：