轮斗挖掘机的挖掘流量自动控制方法及其系统技术方案

本申请公开了一种轮斗挖掘机的挖掘流量自动控制方法及其系统。其首先将采集的多个时间点的检测泥土的第一图像和第二图像分别通过卷积神经网络模型得到的俯视视角特征图和侧视视角特征图分别进行全局均值池化以得到俯视视角特征向量和侧视视角特征向量，接着，将计算所述俯视视角特征向量的转置向量和所述侧视视角特征向量之间的乘积得到的对应于各个时间点的解码特征矩阵通过解码器以得到用于表示各个时间点的检测泥土的重量值的解码值，最后，计算所述用于表示各个时间点的检测泥土的重量值的解码值的加和值并基于其与预设阈值之间的比较，确定是否停止传输泥土。这样，可以有效地对于轮斗挖掘机的挖掘流量进行智能控制。行智能控制。行智能控制。

【技术实现步骤摘要】
轮斗挖掘机的挖掘流量自动控制方法及其系统


[0001]本申请涉及智能化控制
，且更为具体地，涉及一种轮斗挖掘机的挖掘流量自动控制方法及其系统。
[0002]
技术介绍

[0003]轮斗挖掘机是在链斗挖掘机、单斗挖掘机和其它采掘设备的基础上逐步发展起来的，是连续化作业设备中比较理想的一种多斗挖掘设备，也是世界上最大成套挖掘设备之一。
[0004]轮斗挖掘机具有连续化作业、生产能力大、效率高、适应复杂煤层选采、运输坡度大、操作简单、维修方便、易实现现代化的管理等诸多优点，特别适合于大型露天矿高效率地开采作业，主要应用在露天矿中剥离表土、挖掘有用矿物，倒堆作业、向车辆或运输带进行装载等，另外在混料堆置场、储料场、大型水利和土方工程中也逐渐得到日益广泛的应用。
[0005]目前，在原料场或煤场大量采用皮带输送机进行物料输送，并且在物料输送的过程中一般在挖掘臂皮带上安装流量测量装置，以实现挖掘流量的自动控制。也就是，输送物料一般采用皮带电子秤进行流量测量，但是一些特殊条件下无法采用皮带电子秤进行测量，例如在一些场所中，皮带上没有安装的空间。这样，就会导致无法对于输送物料进行流量测量，进而无法有效地对于轮斗挖掘机的挖掘流量进行智能控制。
[0006]因此，期待一种优化的轮斗挖掘机的挖掘流量自动控制方案。
[0007]
技术实现思路

[0008]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种轮斗挖掘机的挖掘流量自动控制方法及其系统。其首先将采集的多个时间点的检测泥土的第一图像和第二图像分别通过卷积神经网络模型得到的俯视视角特征图和侧视视角特征图分别进行全局均值池化以得到俯视视角特征向量和侧视视角特征向量，接着，将计算所述俯视视角特征向量的转置向量和所述侧视视角特征向量之间的乘积得到的对应于各个时间点的解码特征矩阵通过解码器以得到用于表示各个时间点的检测泥土的重量值的解码值，最后，计算所述用于表示各个时间点的检测泥土的重量值的解码值的加和值并基于其与预设阈值之间的比较，确定是否停止传输泥土。这样，可以有效地对于轮斗挖掘机的挖掘流量进行智能控制。
[0009]根据本申请的一个方面，提供了一种轮斗挖掘机的挖掘流量自动控制方法，其包括：获取由第一摄像头和第二摄像头采集的多个时间点的检测泥土的第一图像和第二图像，其中，所述第一图像为所述检测泥土的俯视图像，所述第二图像为所述检测泥土的
侧视图像；将所述各个时间点的第一图像和第二图像分别通过训练完成的具有深浅特征融合模块的卷积神经网络模型以得到俯视视角特征图和侧视视角特征图；分别对所述俯视视角特征图和所述侧视视角特征图的沿通道维度的特征矩阵进行全局均值池化以得到俯视视角特征向量和侧视视角特征向量；计算所述俯视视角特征向量的转置向量和所述侧视视角特征向量之间的乘积以得到对应于各个时间点的解码特征矩阵；将所述对应于各个时间点的解码特征矩阵通过训练完成的解码器进行解码回归以得到用于表示各个时间点的检测泥土的重量值的解码值；计算所述用于表示各个时间点的检测泥土的重量值的解码值的加和值；以及基于所述加和值与预设阈值之间的比较，确定是否停止传输泥土。
[0010]在上述的轮斗挖掘机的挖掘流量自动控制方法中，所述获取由第一摄像头和第二摄像头采集的多个时间点的检测泥土的第一图像和第二图像，包括：响应于泥土探测器检测到所述检测泥土的存在，启动所述第一摄像头和所述第二摄像头。
[0011]在上述的轮斗挖掘机的挖掘流量自动控制方法中，所述将所述各个时间点的第一图像和第二图像分别通过训练完成的具有深浅特征融合模块的卷积神经网络模型以得到俯视视角特征图和侧视视角特征图，包括：将所述第一图像和所述第二图像分别输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取第一浅层特征图和第二浅层特征图以及从所述卷积神经网络模型的深层提取第一深层特征图和第二深层特征图；使用所述深浅特征融合模块来将所述第一浅层特征图和所述第一深层特征图进行级联以得到所述俯视视角特征图以及将所述第二浅层特征图和所述第二深层特征图进行级联以得到所述侧视视角特征图。
[0012]在上述的轮斗挖掘机的挖掘流量自动控制方法中，所述卷积神经网络模型的浅层为4
‑
6层，所述卷积神经网络模型的深层和浅层之间的比值大于等于10。
[0013]在上述的轮斗挖掘机的挖掘流量自动控制方法中，所述将所述对应于各个时间点的解码特征矩阵通过解码器进行解码回归以得到用于表示各个时间点的检测泥土的重量值的解码值，包括：使用所述解码器的多个全连接层以如下公式对所述对应于各个时间点的解码特征矩阵进行解码回归以获得所述解码值，其中，所述公式为：，其中是所述对应于各个时间点的解码特征矩阵，是所述解码值，是权重矩阵，表示矩阵乘。
[0014]在上述的轮斗挖掘机的挖掘流量自动控制方法中，还包括对所述卷积神经网络模型和所述解码器进行训练；其中，所述对所述卷积神经网络模型和所述解码器进行训练，包括：获取训练数据，所述训练数据包括由所述第一摄像头和所述第二摄像头采集的检测泥土的训练第一图像和训练第二图像，以及所述检测泥土的重量值的真实值，其中，所述训练第一图像为所述检测泥土的俯视图像，所述训练第二图像为所述检测泥土的侧视图
像；将所述训练第一图像和所述训练第二图像分别通过所述具有深浅特征融合模块的卷积神经网络模型以得到训练俯视视角特征图和训练侧视视角特征图；分别对所述训练俯视视角特征图和所述训练侧视视角特征图的沿通道维度的特征矩阵进行全局均值池化以得到训练俯视视角特征向量和训练侧视视角特征向量；计算所述训练俯视视角特征向量的转置向量和所述训练侧视视角特征向量之间的乘积以得到训练解码特征矩阵；将所述训练解码特征矩阵通过所述解码器以得到解码损失函数值；计算所述训练俯视视角特征向量和所述训练侧视视角特征向量的上下文统计的局部场景度量损失函值；以及以所述上下文统计的局部场景度量损失函值和所述解码损失函数值的加权和作为损失函数值对所述卷积神经网络模型和所述解码器进行训练。
[0015]在上述的轮斗挖掘机的挖掘流量自动控制方法中，所述将所述训练解码特征矩阵通过所述解码器以得到解码损失函数值，包括：使用所述解码器以如下公式对所述训练解码特征矩阵进行解码回归以获得训练解码值；其中，所述公式为：，其中是所述训练解码特征矩阵，是所述训练解码值，是权重矩阵，表示矩阵乘；以及计算所述训练解码值和所述训练数据中所述检测泥土的重量值的真实值之间的方差作为所述解码损失函数值。
[0016]在上述的轮斗挖掘机的挖掘流量自动控制方法中，所述计算所述训练俯视视角特征向量和所述训练侧视视角特征向量的上下文统计的局部场景度量损失函值，包括：以如下公式来计算所述训练俯视视角特征向量的第一上下文统计的局部场景度量损失函值；其中，所述公式为：其中表示所述训练俯视视角特征向量中各个位置的特征值，和分别表示所述训练俯视视角特征向量中各个位置的特征值集合的均值和方差，是所述训练俯视视角特征向量的长度，表示数值的指数运算，所述数值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轮斗挖掘机的挖掘流量自动控制方法，其特征在于，包括：获取由第一摄像头和第二摄像头采集的多个时间点的检测泥土的第一图像和第二图像，其中，所述第一图像为所述检测泥土的俯视图像，所述第二图像为所述检测泥土的侧视图像；将所述各个时间点的第一图像和第二图像分别通过训练完成的具有深浅特征融合模块的卷积神经网络模型以得到俯视视角特征图和侧视视角特征图；分别对所述俯视视角特征图和所述侧视视角特征图的沿通道维度的特征矩阵进行全局均值池化以得到俯视视角特征向量和侧视视角特征向量；计算所述俯视视角特征向量的转置向量和所述侧视视角特征向量之间的乘积以得到对应于各个时间点的解码特征矩阵；将所述对应于各个时间点的解码特征矩阵通过训练完成的解码器进行解码回归以得到用于表示各个时间点的检测泥土的重量值的解码值；计算所述用于表示各个时间点的检测泥土的重量值的解码值的加和值；以及基于所述加和值与预设阈值之间的比较，确定是否停止传输泥土。2.根据权利要求1所述的轮斗挖掘机的挖掘流量自动控制方法，其特征在于，所述获取由第一摄像头和第二摄像头采集的多个时间点的检测泥土的第一图像和第二图像，包括：响应于泥土探测器检测到所述检测泥土的存在，启动所述第一摄像头和所述第二摄像头。3.根据权利要求2所述的轮斗挖掘机的挖掘流量自动控制方法，其特征在于，所述将所述各个时间点的第一图像和第二图像分别通过训练完成的具有深浅特征融合模块的卷积神经网络模型以得到俯视视角特征图和侧视视角特征图，包括：将所述第一图像和所述第二图像分别输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取第一浅层特征图和第二浅层特征图以及从所述卷积神经网络模型的深层提取第一深层特征图和第二深层特征图；使用所述深浅特征融合模块来将所述第一浅层特征图和所述第一深层特征图进行级联以得到所述俯视视角特征图以及将所述第二浅层特征图和所述第二深层特征图进行级联以得到所述侧视视角特征图。4.根据权利要求3所述的轮斗挖掘机的挖掘流量自动控制方法，其特征在于，所述卷积神经网络模型的浅层为4
‑
6层，所述卷积神经网络模型的深层和浅层之间的比值大于等于10。5.根据权利要求4所述的轮斗挖掘机的挖掘流量自动控制方法，其特征在于，所述将所述对应于各个时间点的解码特征矩阵通过解码器进行解码回归以得到用于表示各个时间点的检测泥土的重量值的解码值，包括：使用所述解码器的多个全连接层以如下公式对所述对应于各个时间点的解码特征矩阵进行解码回归以获得所述解码值，其中，所述公式为：，其中是所述对应于各个时间点的解码特征矩阵，是所述解码值，是权重矩阵，表示矩阵乘。6.根据权利要求1所述的轮斗挖掘机的挖掘流量自动控制方法，其特征在于，还包括对所述卷积神经网络模型和所述解码器进行训练；
其中，所述对所述卷积神经网络模型和所述解码器进行训练，包括：获取训练数据，所述训练数据包括由所述第一摄像头和所述第二摄像头采集的检测泥土的训练第一图像和训练第二图像，以及所述检测泥土的重量值的真实值，其中，所述训练第一图像为所述检测泥土的俯视图像，所述训练第二图像为所述检测泥土的侧视图像；将所述训练第一图像和所述训练第二图像分别通过所述具有深浅特征融合模块的卷积神经网络模型以得到训练俯视视角特征图和训练侧视视角特征图；分别对所述训练俯视视角特征图和所述训练侧视视角特征图的沿通道维度的特征矩阵进行全局均值池化以得到训练俯视视角特征向量和训练侧视视角特征向量；计算所述训练俯视视角特征向量的转置向量和所述训练侧视视角特征向量之间的乘积以得到训练解码特征...

【专利技术属性】
技术研发人员：张波，袁金祥，王雅宾，咸金龙，田文明，马广玉，曹鋆程，冯川，刘立丰，朱龙啸，
申请(专利权)人：华能伊敏煤电有限责任公司，
类型：发明
国别省市：