一种智能化矿石定位及破碎控制方法与装置制造方法及图纸

本发明专利技术提供了一种智能化矿石定位及破碎控制方法与装置。方法包括：采用两个双目相机对溜井区域进行同步拍摄；通过深度学习实例分割算法对图像进行识别得到大矿石和破碎锤；对识别得到的大矿石和破碎锤的目标图像区域提取匹配特征点，并对匹配特征点进行三维点云重建；计算出大矿石的破碎点位置；计算出将破碎锤移动至大矿石破碎点的动作信息；根据动作信息向破碎机的电控装置发送移动控制信号，控制破碎机将破碎锤移动至大矿石的破碎点；发送破碎控制信号，对大矿石进行破碎作业。本发明专利技术提供的智能化矿石定位及破碎控制方法与装置，实现环节快速稳定，视觉检测范围广，图像分辨率高，保证矿山井下溜井处矿石精准定位、二次破碎的高效快速。碎的高效快速。碎的高效快速。

【技术实现步骤摘要】
一种智能化矿石定位及破碎控制方法与装置


[0001]本专利技术涉及矿山矿石破碎
，具体而言，涉及一种智能化矿石定位及破碎控制方法与装置。

技术介绍

[0002]矿产资源作为重要的非可再生资源，在国民经济发展中有着重要的地位。但是现在很多矿企面临招工难、成本高、效益提升慢，人员安全得不到保障等多个难题。
[0003]矿石破碎是矿企对矿山开采的一个重要作业过程，分为多个阶段进行。第一阶段破碎采用爆破的方式，其产量很大程度上取决于矿石的粒度分布；第二阶段破碎通常采用破碎机对被格筛阻挡的大矿石进行破碎的方式，金属格筛可以阻挡住大矿石，通过破碎机对被格筛阻挡的大矿石破碎变成小矿石流入后续矿石传输流程，避免造成后续矿石传输堵塞。
[0004]现有技术中，井下溜井处的二次破碎作业方式，大部分还是通过在井下溜井处安排工人现场操作破碎机对被格筛阻挡的大矿石进行破碎作业，极小部分已经采用远程遥控井下溜井处的破碎机对大矿石进行破碎作业。井下工人现场操作破碎机对大矿石进行破碎作业，工作环境比较恶劣，噪音和粉尘对工人的身体健康影响较大，特别是在深井下作业，操作工人的生命安全得不到保障。采用远程遥控的方式，属于半自动化领域，工人虽然不用下井，在地上通过观看溜井处的相机传送的视频画面就可以手动控制井下溜井处的破碎机运作，但这种方式存在信号延迟大和易中断等问题，由于操作时视频图像反馈不及时，偶尔操作不当甚至会导致破碎锤对溜井格筛造成损坏，严重影响操作工人对破碎机操作的流畅性和舒适性，影响生产效率的提升。
[0005]由于每个矿石的大小形状都不一样，包括还有多个矿石堆叠的情况，因此传统的机器视觉方式无法对矿石进行精确检测定位。另外，由于整个溜井区域较大，有的长宽范围可达10米以上，在这么大的区域范围下对矿石进行精确的识别定位是一个很大的挑战，普通的深度相机在定位精度或者在探测距离上难以满足需求。采用普通的深度相机和三维深度学习的方式对矿石进行识别，存在精度不足、图像分辨率低、识别角度及距离有限、运算量大等问题，导致系统响应时间较长，无法满足实时控制破碎机的要求。
[0006]因此，针对以上不足，需要提供一种智能化矿石定位及破碎控制方法与装置，实现环节快速稳定，视觉检测范围广，图像分辨率高，保证矿山井下溜井处矿石精准定位、二次破碎的高效快速，打造矿山综采工作面无人化管理的数字矿山工作场景。

技术实现思路

[0007]本专利技术提供了一种智能化矿石定位及破碎控制方法与装置，实现环节快速稳定，视觉检测范围广，图像分辨率高，保证矿山井下溜井处矿石精准定位、二次破碎的高效快速，打造矿山综采工作面无人化管理的数字矿山工作场景。
[0008]本专利技术第一方面的实施例提供了一种智能化矿石定位及破碎控制方法，包括如下
步骤：采用两个双目相机对溜井区域进行同步拍摄；通过深度学习实例分割算法对拍摄得到的图像进行识别，识别出大矿石和破碎锤；对识别得到的大矿石和破碎锤的目标图像区域提取匹配特征点，并对匹配特征点进行三维点云重建；根据大矿石的三维点云重建数据计算出大矿石的破碎点位置；根据破碎锤的三维点云重建数据计算出破碎机将破碎锤移动至大矿石的破碎点的动作信息；根据动作信息向破碎机的电控装置发送移动控制信号，控制破碎机将破碎锤移动至大矿石的破碎点；当破碎锤到达大矿石的破碎点后发送破碎控制信号，对大矿石进行破碎作业。
[0009]优选地，采用的两个双目相机的图像传感器的分辨率不小于500万像素，两个双目相机均安装在溜井区域附近，两个双目相机的安装间距不小于1米。
[0010]优选地，深度学习实例分割算法中，采用改进的SOLOV2检测模型对大矿石和破碎锤进行识别；改进的SOLOV2检测模型的改进包括以下至少一项：i.对相机输入的图片进行划分，得到多个子区域，确定感兴趣子区域以及不感兴趣子区域，将感兴趣子区域输入神经网络进行深度处理，将不感兴趣子区域中的图像信息丢弃；ii.采用MobileNetV3作为主干网络；iii.在训练模型的过程中，训练过程根据学习率的不同分为三个阶段；第一阶段，学习率根据迭代的训练次数不断上升；第二阶段，学习率不跟随训练次数产生变化，保持稳定；第三阶段，学习率与训练次数呈反比例函数关系，随着训练次数增加，学习率降低，并且降低速度先快后慢，当训练次数数量无限增加接近于正无穷时，学习率接近于0；iv.特征金字塔层数设置为三层；v.对于掩码部分的分支的损失函数采用BCE Loss函数搭配Sigmoid激活函数；其中，BCE Loss函数具体计算公式为：
[0011][0012]其中，o代表output，指的是网络经过前向传播之后，计算得出的判断某项为真值的概率，取值范围为[0,1]；t代表target，指的是样本当中已经被标记指定的是否为真的标记，其取值为0或1；i代表了n个需要判断的输出项当中的第i项，o[i]与t[i]代表了第i项所对应的计算真值和标记真值；BCE Loss函数具体计算公式也可以为：
[0013][0014]其中，weight是一个规模与o或t一致的矩阵；vi.在非极大值抑制阶段，引入SoftNMS函数，具体函数表达如下：
[0015][0016]其中，iou为交并比，是两个互相靠近的物体的预测范围的交集与并集面积的比值，M为一个待比较的预测范围，b
i
为M的附近的第i个待比较的预测范围，D为已经判断为需要保留的预测范围的集合，s
i
为原预测范围的置信度得分，经过调整之后的置信度得分为S
i
，σ为可以人工设置的调整幅度参数。
[0017]优选地，通过深度学习实例分割算法对拍摄得到的图像进行识别，识别出大矿石和破碎锤，具体包括如下步骤：拍摄目标图像，并对图像中大矿石和破碎锤进行标注；根据标注情况选择是否设置关键区域，根据关键区域的选择情况进行预处理和数据增强，预处理包括滤波降噪，数据增强包括旋转、平移、缩放操作；根据数据集规模选择K折交叉验证或
者指定比例划分训练数据集和验证数据集；设置学习率和训练次数等超参数，调用训练方法函数对网络模型进行训练，监控训练情况；若训练结果符合期望则使用训练完毕的模型；将模型导出，在工控机环境下完成部署；通过数据流将图片输入并执行预处理，之后输入模型进行推理，模型输出的后处理结果数据返回给调用实例分割的分支进程。
[0018]优选地，对识别得到的大矿石和破碎锤的目标图像区域提取匹配特征点，并对匹配特征点进行三维点云重建，具体包括如下步骤：对图像做不同尺度的高斯模糊，然后进行降采样构建高斯尺度空间，在此基础上对金字塔每相邻两层做差，生成高斯差分金字塔；对每个像素点进行极值点检测；对关键点的方向进行分配，每个关键点对应一个基准方向，采用图像梯度的方法求取局部结构的稳定方向；使用直方图统计邻域内像素的梯度和方向，将数目最多的作为关键点主方向，最后每个关键点包含位置、尺度及方向三个信息，描述图像特征；对感兴趣子区域内的目标进行完尺度不变特征提取后，通过快速最近邻匹配算法筛选出最优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能化矿石定位及破碎控制方法，包括如下步骤：采用两个双目相机对溜井区域进行同步拍摄；通过深度学习实例分割算法对拍摄得到的图像进行识别，识别出大矿石和破碎锤；对识别得到的所述大矿石和所述破碎锤的目标图像区域提取匹配特征点，并对所述匹配特征点进行三维点云重建；根据所述大矿石的三维点云重建数据计算出所述大矿石的破碎点位置；根据所述破碎锤的三维点云重建数据计算出破碎机将所述破碎锤移动至所述大矿石的破碎点的动作信息；根据所述动作信息向所述破碎机的电控装置发送移动控制信号，控制破碎机将所述破碎锤移动至所述大矿石的破碎点；当所述破碎锤到达所述大矿石的破碎点后发送破碎控制信号，对所述大矿石进行破碎作业。2.根据权利要求1所述的智能化矿石定位及破碎控制方法，其特征在于，采用的两个双目相机的图像传感器的分辨率不小于500万像素，两个双目相机均安装在所述溜井区域附近，两个双目相机的安装间距不小于1米。3.根据权利要求1所述的智能化矿石定位及破碎控制方法，其特征在于，所述深度学习实例分割算法中，采用改进的SOLOV2检测模型对大矿石和破碎锤进行识别；所述改进的SOLOV2检测模型的改进包括以下至少一项：i).对相机输入的图片进行划分，得到多个子区域，确定感兴趣子区域以及不感兴趣子区域，将所述感兴趣子区域输入神经网络进行深度处理，将所述不感兴趣子区域中的图像信息丢弃；ii).采用MobileNetV3作为主干网络；iii).在训练模型的过程中，训练过程根据学习率的不同分为三个阶段；第一阶段，学习率根据迭代的训练次数不断上升；第二阶段，学习率不跟随训练次数产生变化，保持稳定；第三阶段，学习率与训练次数呈反比例函数关系，随着训练次数增加，学习率降低，并且降低速度先快后慢，当训练次数数量无限增加接近于正无穷时，学习率接近于0；iv).特征金字塔层数设置为三层；v).对于掩码部分的分支的损失函数采用BCE Loss函数搭配Sigmoid激活函数；其中，BCE Loss函数具体计算公式为：其中，o代表output，指的是网络经过前向传播之后，计算得出的判断某项为真值的概率，取值范围为[0,1]；t代表target，指的是样本当中已经被标记指定的是否为真的标记，其取值为0或1；i代表了n个需要判断的输出项当中的第i项，o[i]与t[i]代表了第i项所对应的计算真值和标记真值；BCE Loss函数具体计算公式也可以为：其中，weight是一个规模与o或t一致的矩阵；
vi).在非极大值抑制阶段，引入SoftNMS函数，具体函数表达如下：其中，iou为交并比，是两个互相靠近的物体的预测范围的交集与并集面积的比值，M为一个待比较的预测范围，b
i
为M的附近的第i个待比较的预测范围，D为已经判断为需要保留的预测范围的集合，s
i
为原预测范围的置信度得分，经过调整之后的置信度得分为S
i
，σ为可以人工设置的调整幅度参数。4.根据权利要求3所述的智能化矿石定位及破碎控制方法，其特征在于，所述通过深度学习实例分割算法对拍摄得到的图像进行识别，识别出大矿石和破碎锤，具体包括如下步骤：拍摄目标图像，并对图像中大矿石和破碎锤进行标注；根据标注情况选择是否设置关键区域，根据关键区域的选择情况进行预处理和数据增强，所述预处理包括滤波降噪，所述数据增强包括旋转、平移、缩放操作；根据数据集规模选择K折交叉验证或者指定比例划分训练数据集和验证数据集；设置学习率和训练次数等超参数，调用训练方法函数对网络模型进行训练，监控训练情况；若训练结果符合期望则使用训练完毕的模型；将模型导出，在工控机环境下完成部署；通过数据流将图片输入并执行预处理，之后输入模型进行推理，模型输出的后处理结果数据返回给调用实例分割的分支进程。5.根据权利要求1所述的智能化矿石定位及破碎控制方法，其特征在于，所述对识别得到的所述大矿石和所述破碎锤的目标图像区域提取匹配特征点，并对所述匹配特征点进行三维点云重建，具体包括如下步骤：对图像做不同尺度的高斯模糊，然后进行降采样构建高斯尺...

【专利技术属性】
技术研发人员：李金芝，
申请(专利权)人：深圳奥视得倍科技有限公司，
类型：发明
国别省市：