一种基于深度学习的矿山装载区分类方法及系统技术方案

本发明专利技术公开了一种基于深度学习的矿山装载区分类方法及系统，包括：获取矿山场景图像，对图像进行初步处理，输出初级特征图；对初级特征图执行特征提取操作，获得高级特征图；对高级特征图进行装载区分类预测，获得分类结果

【技术实现步骤摘要】
一种基于深度学习的矿山装载区分类方法及系统


[0001]本专利技术属于矿山工程
，特别设计一种基于深度学习的矿山装载区分类方法及系统，

技术介绍

[0002]矿山装载区是矿山生产过程中的重要环节
。
安全状态的判断与评估对于保障矿山作业的顺利进行以及矿工的生命安全具有重要的意义
。
传统的矿山装载区安全状态判断主要依赖于人工现场巡查，评估结果受限于巡查人员的经验和主观判断，容易出现误判或漏判的情况，无法满足矿山装载区安全评估的实际需求
。
[0003]场景识别是计算机视觉领域的重要任务之一，随着深度学习的迅速发展，场景识别的准确率得到了很大的提升
。
对矿山驾驶区域的识别是矿区无人化的重要环节，能够为无人驾驶的感知模块和决策模块提供必要的场景语义信息，加强对矿区无人驾驶环境的充分了解，保障矿区无人驾驶的安全性和稳定性
。
当前多是采用人工的手段对矿山无人驾驶环境中的不同区域进行分类，由于自动驾驶采集到的场景数据体量较大，所以人工分类处理效率较低，难以满足需求
。

技术实现思路

[0004]鉴于上述存在的问题，提出了本专利技术
。
[0005]因此，本专利技术解决的技术问题是：传统的图像处理方法可能无法准确地提取出矿山装载区图像的关键特征，因此可能对装载区的安全状况进行误判的问题
。
[0006]为解决上述技术问题，本专利技术提供如下技术方案：一种基于深度学习的矿山装载区分类方法，包括：
[0007]获取矿山场景图像，对图像进行初步处理，输出初级特征图；
[0008]对初级特征图执行特征提取操作，获得高级特征图；
[0009]对高级特征图进行装载区分类预测，获得分类结果
。
[0010]作为本专利技术所述的基于深度学习的矿山装载区分类方法的一种优选方案，其中：所述初级特征图的输出步骤为，
[0011]获取图像，获取一个分辨率大小为
1920*1200
的矿山场景图像；
[0012]预处理图像，对获取的矿山场景图像进行预处理；预处理的过程主要包括一个卷积层和一个最大池化层，在卷积层中，使用卷积核进行卷积运算，步长为2，卷积运算的过程提取出图像的初步特征，并降低图像的分辨率；
[0013]使用大小为
2*2
，步长为2的最大池化层进一步处理卷积层的输出结果；
[0014]输出初级特征图，经过预处理操作后，得到一个分辨率为
480*300
的初级特征图
。
[0015]作为本专利技术所述的基于深度学习的矿山装载区分类方法的一种优选方案，其中：获得所述高级特征图的步骤包括，
[0016]特征提取网络的基本单元构建；
[0017]构建特征增强模块；
[0018]构建串联结构，跨层连接和特征融合；
[0019]构建特征提取网络，进行特征提取，输出高级特征图
。
[0020]作为本专利技术所述的基于深度学习的矿山装载区分类方法的一种优选方案，其中：所述特征提取网络由三个基本单元构成，基本单元的特征为，基本单元由一个串联结构
、
两个跨层连接结构和两个加法融合模块构成；
[0021]所述串联结构是基本单元主体功能结构，由一个特征增强模块和两个卷积顺序连接形成；
[0022]所述两个加法融合模块和所述跨层连接结构配合共同完成跨层特征的融合，其中，第一个加法融合模块位于第一个卷积层之后
、
第二个卷积层之前；第二个加法融合模块位于第二个卷积层之后，下一个基本单元之前；
[0023]所述两个跨层连接结构分别以串联结构中的不同位置为起点和终点实现不同层级特征的融合功能，第一个跨层连接结构为捷径连接，以特征增强模块的输出为起点
、
第一个加法融合模块为终点跨越了第一个卷积层，通过第一个加法融合模块与串联结构相连接实现跨层特征的融合，融合结果沿着串联结构继续向下传递；第二个跨层连接结构由一个卷积核大小为
3*3、
步长为2的卷积层构成，以基本单元的输入为起点
、
第二个加法融合模块为终点跨越了串联结构中的特征增强模块和两个卷积层，通过第二个加法融合模块与串联结构相连接实现跨层特征的融合，融合结果作为基本单元的输出结构
。
[0024]作为本专利技术所述的基于深度学习的矿山装载区分类方法的一种优选方案，其中：所述基本单元的串联结构中的特征增强模块由一条捷径连接支路
、
一条大小为
1*1
的池化层支路
、
三条大小分别为
3*3、5*5
和
7*7
的卷积层支路并行传输后通过一个加法融合模块进行特征融合连接而成；
[0025]所述基本单元的串联结构中第一个卷积层的卷积核大小为
3*3
，步长为1；基本单元串联结构中第二个卷积层的卷积核大小为
3*3
，步长为2；
[0026]所述基本单元中第二个跨层连接结构中的卷积层的卷积核大小为
3*3
，步长为2；
[0027]所述基本单元结构中所有的卷积层后均包含
BN
层和
Relu
层
。
[0028]作为本专利技术所述的基于深度学习的矿山装载区分类方法的一种优选方案，其中：所述特征提取网络中的三个基本单元结构相同，呈现顺序连接，上一个单元的输出为下一个单元的输入，根据顺序，将特征提取网络中的三个单元分别命名为第一单元
、
第二单元和第三单元
。
[0029]第一单元的输入为预处理网络输出的初级特征图，第一单元的输出作为第二单元的输入
、
第二单元的输出作为第三单元的输入
、
第三单元的输出则作为特征提取网络的输出结果，特征提取网络的三个基本单元对初级特征图进行了特征提取，由于网络深度的不同，每个单元提取到了不同层次的语义特征，最终由第三单元输出高级特征图
。
[0030]作为本专利技术所述的基于深度学习的矿山装载区分类方法的一种优选方案，其中：对所述高级特征图进行装载区分类预测的步骤为，
[0031]高级特征图作为输入，通过预测结构的第一个卷积层进行卷积操作，增强图像的特征并降低噪声；
[0032]卷积后的特征图通过池化层进行平均池化操作，进一步减少特征的维度，并提取
出最有代表性的特征；
[0033]池化后的特征图被送入全连接层，全连接层将池化后的特征图压平并通过线性函数进行转换，得到一个一维特征向量，一维特征向量中的每个元素都包含了输入图像的全局信息；
[0034]全连接层的输出通过
softmax
函数进行非线性映射，将全连接层的输出转换为概率分布，得到输入图像属于
"
不安全
...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习的矿山装载区分类方法，其特征在于，包括：获取矿山场景图像，对图像进行初步处理，输出初级特征图；对初级特征图执行特征提取操作，获得高级特征图；对高级特征图进行装载区分类预测，获得分类结果
。2.
如权利要求1所述的基于深度学习的矿山装载区分类方法，其特征在于：所述初级特征图的输出步骤为，获取图像，获取一个分辨率大小为
1920*1200
的矿山场景图像；预处理图像，对获取的矿山场景图像进行预处理；预处理的过程主要包括一个卷积层和一个最大池化层，在卷积层中，使用卷积核进行卷积运算，步长为2，卷积运算的过程提取出图像的初步特征，并降低图像的分辨率；使用大小为
2*2
，步长为2的最大池化层进一步处理卷积层的输出结果；输出初级特征图，经过预处理操作后，得到一个分辨率为
480*300
的初级特征图
。3.
如权利要求2所述的基于深度学习的矿山装载区分类方法，其特征在于：获得所述高级特征图的步骤包括，特征提取网络的基本单元构建；构建特征增强模块；构建串联结构，跨层连接和特征融合；构建特征提取网络，进行特征提取，输出高级特征图
。4.
如权利要求3所述的基于深度学习的矿山装载区分类方法，其特征在于：所述特征提取网络由三个基本单元构成，基本单元的特征为，基本单元由一个串联结构
、
两个跨层连接结构和两个加法融合模块构成；所述串联结构是基本单元主体功能结构，由一个特征增强模块和两个卷积顺序连接形成；所述两个加法融合模块和所述跨层连接结构配合共同完成跨层特征的融合，其中，第一个加法融合模块位于第一个卷积层之后
、
第二个卷积层之前；第二个加法融合模块位于第二个卷积层之后，下一个基本单元之前；所述两个跨层连接结构分别以串联结构中的不同位置为起点和终点实现不同层级特征的融合功能，第一个跨层连接结构为捷径连接，以特征增强模块的输出为起点
、
第一个加法融合模块为终点跨越了第一个卷积层，通过第一个加法融合模块与串联结构相连接实现跨层特征的融合，融合结果沿着串联结构继续向下传递；第二个跨层连接结构由一个卷积核大小为
3*3、
步长为2的卷积层构成，以基本单元的输入为起点
、
第二个加法融合模块为终点跨越了串联结构中的特征增强模块和两个卷积层，通过第二个加法融合模块与串联结构相连接实现跨层特征的融合，融合结果作为基本单元的输出结构
。5.
如权利要求4所述的基于深度学习的矿山装载区分类方法，其特征在于：所述基本单元的串联结构中的特征增强模块由一条捷径连接支路
、
一条大小为
1*1
的池化层支路
、
三条大小分别为
3*3、5*5
和
7*7
的卷积层支路并行传输后通过一个加法融合模块进行特征融合连接而成；所述基本单元的串联结构中第一个卷积层的卷积核大小为
3*3
，步长为1；基本单元串联结构中第二个卷积层的卷积核大小为
3*3
，步长为2；
所述基本单元中第二个跨层连接结构中的卷积层的卷积核大小为
3*3
，步长为2；所述基本单元结构中所有的卷积层后均包含
BN
层和
Relu
层
。6.
如权利要求5所述的基于深度学习的矿山装载区分类方法，其特征在于：所述特征提取网络中的三个基本单元结构相同，呈现顺序连接，上一个单元的输出为下一个单元的输入，根据顺序，将特征提取网络中的三个单元分别命名为第一单元
、
第二单元和第三单元；第一单元的输入为预处理网络输出的初级特征图，第一单元的输出作为第二单元的输入
、
第二单元的输出作为第三单元的输入
、

【专利技术属性】
技术研发人员：李树学，张集，李宝国，贾中元，马广玉，白小龙，张振涛，田文明，
申请(专利权)人：华能伊敏煤电有限责任公司，
类型：发明
国别省市：