基于多传感器融合的挖掘大块检测方法及其系统技术方案

本申请涉及挖掘机技术领域，其具体地公开了一种基于多传感器融合的挖掘大块检测方法及其系统，其通过振动传感器和声音传感器采集挖掘机在挖掘过程中的振动探测信号和声音探测信号，再分别进行傅里叶变换以提取频域特征，然后，采用包含序列编码器和图像编码器的C l i p模型提取出在挖掘过程中的振动信号和声音信号的时域特征和频域特征的融合特征信息，优选的，考虑到通过C l i p模型的振动特征矩阵和声音特征矩阵中存在对应位置所表示的关联方向相反的情况，因此，采用全正投影非线性重加权的方式对振动特征矩阵和声音特征矩阵进行融合，通过这样的方式，能够实时准确地进行挖掘大块检测，进而保证挖掘的工作顺利进行。行。行。

【技术实现步骤摘要】
基于多传感器融合的挖掘大块检测方法及其系统


[0001]本申请涉及挖掘机
，且更为具体地，涉及一种基于多传感器融合的挖掘大块检测方法及其系统。

技术介绍

[0002]随着社会和经济的发展，城市的建设越来越快，在城市建设中少不了挖掘机，挖掘机在挖掘时主要是利用铲斗挖掘高于或低于承机面的物料，并装入运输车辆或卸至堆料场的土方机械，从近几年工程机械的发展来看，挖掘机的发展相对较快，挖掘机已经成为工程建设中最主要的工程机械之一。
[0003]挖掘机在挖掘的工作过程中，由于挖掘的土壤山地等场所中存在着大量的石块土块，这些石块土块有大有小，并不易分别，而现有的挖掘机又并不具有挖掘大块检测功能，当挖掘到尺寸较大的石块土块时，会给挖掘机的挖掘工作带来困难，使得挖掘过程延缓，从而减慢整个建设工程的进度。目前，在挖掘机挖掘到尺寸较大的土块石块时，需要对其进行分块破碎以分解为小尺寸的土块石块来进行下一步的处理，因此，对于挖掘过程中的大块检测十分重要。
[0004]因此，期望一种优化的挖掘大块检测方案。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于多传感器融合的挖掘大块检测方法及其系统，其通过振动传感器和声音传感器采集挖掘机在挖掘过程中的振动探测信号和声音探测信号，再分别进行傅里叶变换以提取频域特征，然后，采用包含序列编码器和图像编码器的Clip模型提取出在挖掘过程中的振动信号和声音信号的时域特征和频域特征的融合特征信息，优选的，考虑到通过Clip模型的振动特征矩阵和声音特征矩阵中存在对应位置所表示的关联方向相反的情况，因此，采用全正投影非线性重加权的方式对振动特征矩阵和声音特征矩阵进行融合，通过这样的方式，能够实时准确地进行挖掘大块检测，进而保证挖掘的工作顺利进行。
[0006]根据本申请的一个方面，提供了一种基于多传感器融合的挖掘大块检测方法，其包括：
[0007]获取在挖掘过程中由振动传感器和声音传感器采集的振动探测信号和声音探测信号；
[0008]对所述振动探测信号和所述声音探测信号分别进行傅里叶变换以得到多个振动频域统计特征值和多个声音频域统计特征值；
[0009]将所述多个振动频域统计特征值和所述振动探测信号的波形图通过包含序列编码器和图像编码器的第一Clip模型以得到振动特征矩阵；
[0010]将所述多个声音频域统计特征值和所述声音探测信号的波形图通过包含序列编码器和图像编码器的第二Clip模型以得到声音特征矩阵；
[0011]融合所述振动特征矩阵和所述声音特征矩阵以得到分类特征矩阵；以及
[0012]将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否挖掘到大块。
[0013]根据本申请的另一方面，提供了一种基于多传感器融合的挖掘大块检测系统，其包括：
[0014]信号获取模块，用于获取在挖掘过程中由振动传感器和声音传感器采集的振动探测信号和声音探测信号；
[0015]频域特征提取模块，用于对所述振动探测信号和所述声音探测信号分别进行傅里叶变换以得到多个振动频域统计特征值和多个声音频域统计特征值；
[0016]振动信号编码模块，用于将所述多个振动频域统计特征值和所述振动探测信号的波形图通过包含序列编码器和图像编码器的第一Clip模型以得到振动特征矩阵；
[0017]声音信号编码模块，用于将所述多个声音频域统计特征值和所述声音探测信号的波形图通过包含序列编码器和图像编码器的第二Clip模型以得到声音特征矩阵；
[0018]融合模块，用于融合所述振动特征矩阵和所述声音特征矩阵以得到分类特征矩阵；以及
[0019]分类模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否挖掘到大块。
[0020]根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于多传感器融合的挖掘大块检测方法。
[0021]根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于多传感器融合的挖掘大块检测方法。
[0022]与现有技术相比，本申请提供的一种基于多传感器融合的挖掘大块检测方法及其系统，其通过振动传感器和声音传感器采集挖掘机在挖掘过程中的振动探测信号和声音探测信号，再分别进行傅里叶变换以提取频域特征，然后，采用包含序列编码器和图像编码器的Clip模型提取出在挖掘过程中的振动信号和声音信号的时域特征和频域特征的融合特征信息，优选的，考虑到通过Clip模型的振动特征矩阵和声音特征矩阵中存在对应位置所表示的关联方向相反的情况，因此，采用全正投影非线性重加权的方式对振动特征矩阵和声音特征矩阵进行融合，通过这样的方式，能够实时准确地进行挖掘大块检测，进而保证挖掘的工作顺利进行。
附图说明
[0023]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0024]图1图示了根据本申请实施例的基于多传感器融合的挖掘大块检测方法及其系统的应用场景图。
[0025]图2图示了根据本申请实施例的基于多传感器融合的挖掘大块检测方法的流程图。
[0026]图3图示了根据本申请实施例的基于多传感器融合的挖掘大块检测方法的系统架构的示意图。
[0027]图4图示了根据本申请实施例的基于多传感器融合的挖掘大块检测方法及其系统中，将所述多个振动频域统计特征值和所述振动探测信号的波形图通过包含序列编码器和图像编码器的第一Clip模型以得到振动特征矩阵的流程图。
[0028]图5图示了根据本申请实施例的基于多传感器融合的挖掘大块检测方法及其系统中，将所述多个振动频域统计特征值输入所述第一Clip模型的序列编码器以得到振动频率统计特征向量的流程图。
[0029]图6图示了根据本申请实施例的基于多传感器融合的挖掘大块检测系统的框图示意图。
[0030]图7图示了根据本申请实施例的基于多传感器融合的挖掘大块检测系统中振动信号编码模块的框图。
[0031]图8图示了根据本申请实施例的基于多传感器融合的挖掘大块检测系统中振动频率编码单元的框图。
[0032]图9图示了根据本申请实施例的电子设备的框图。
具体实施方式
[0033]下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
[0034]场景概述
[0035]如上所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器融合的挖掘大块检测方法，其特征在于，包括：获取在挖掘过程中由振动传感器和声音传感器采集的振动探测信号和声音探测信号；对所述振动探测信号和所述声音探测信号分别进行傅里叶变换以得到多个振动频域统计特征值和多个声音频域统计特征值；将所述多个振动频域统计特征值和所述振动探测信号的波形图通过包含序列编码器和图像编码器的第一Clip模型以得到振动特征矩阵；将所述多个声音频域统计特征值和所述声音探测信号的波形图通过包含序列编码器和图像编码器的第二Clip模型以得到声音特征矩阵；融合所述振动特征矩阵和所述声音特征矩阵以得到分类特征矩阵；以及将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否挖掘到大块。2.根据权利要求1所述的基于多传感器融合的挖掘大块检测方法，其特征在于，所述将所述多个振动频域统计特征值和所述振动探测信号的波形图通过包含序列编码器和图像编码器的第一Clip模型以得到振动特征矩阵，包括：将所述多个振动频域统计特征值输入所述第一Clip模型的序列编码器以得到振动频率统计特征向量；将所述振动探测信号的波形图输入所述第一Clip模型的图像编码器以得到振动波形特征向量；以及基于所述振动频率统计特征向量，对所述振动波形特征向量进行图像属性编码优化以得到所述振动特征矩阵。3.根据权利要求2所述的基于多传感器融合的挖掘大块检测方法，其特征在于，所述将所述多个振动频域统计特征值输入所述第一Clip模型的序列编码器以得到振动频率统计特征向量，包括：将所述多个振动频域统计特征值排列为振动频域统计输入向量；使用所述第一Clip模型的序列编码器的第一卷积层对所述振动频域统计输入向量进行第一尺度的一维卷积编码以得到第一尺度振动频域统计特征向量；使用所述第一Clip模型的序列编码器的第二卷积层对所述振动频域统计输入向量进行第二尺度的一维卷积编码以得到第二尺度振动频域统计特征向量；以及将所述第一尺度振动频域统计特征向量和所述第二尺度振动频域统计特征向量进行级联以得到所述振动频率统计特征向量。4.根据权利要求3所述的基于多传感器融合的挖掘大块检测方法，其特征在于，所述将所述振动探测信号的波形图输入所述第一Clip模型的图像编码器以得到振动波形特征向量，包括：使用所述第一Clip模型的图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述第一Clip模型的图像编码器的最后一层输出所述振动波形特征向量。5.根据权利要求4所述的基于多传感器融合的挖掘大块检测方法，其特征在于，所述基于所述振动频率统计特征向量，对所述振动波形特征向量进行图像属性编码优化以得到所述振动特征矩阵，包括：基于所述振动频率统计特征向量，以如下公式对所述振动波形特征向量进行图像属性
编码优化以得到所述振动特征矩阵；其中，所述公式为：其中，M是所述振动特征矩阵，V1是所述振动频率统计特征向量，V2是所述振动波形特征向量。6.根据权利要求5所述的基于多传感器融合的挖掘大块检测方法，其特征在于，所述融合所述振动特征矩阵和所述声音特征...

【专利技术属性】
技术研发人员：冯川，张波，储孝国，马广玉，咸金龙，刘强，刘跃，田文明，刘也，多艺，
申请(专利权)人：北京华能新锐控制技术有限公司，
类型：发明
国别省市：