一种矿下电机车障碍物智能视觉检测方法技术

本发明专利技术提供了一种矿下电机车障碍物智能视觉检测方法，包括如下步骤，步骤S1：采集影响电机车正常运行的障碍物的图像数据，并建立数据集；步骤S2：基于改进的YOLOv5网络，构建矿下电机车障碍物检测模型；步骤S3：训练步骤S2中的矿下电机车障碍物检测模型；步骤S4：对步骤S3中训练后的矿下电机车障碍物检测模型进行性能评估。本发明专利技术用于矿下电机车障碍物的检测，具有检测速度快，提高对小目标的检测精度，降低漏检、错检几率。错检几率。错检几率。

【技术实现步骤摘要】
一种矿下电机车障碍物智能视觉检测方法


[0001]本专利技术涉及车辆障碍物检测
，特别涉及一种矿下电机车障碍物智能视觉检测方法。

技术介绍

[0002]随着现代工业的不断发展，矿山井下的安全问题日益受到重视。矿井轨道电机车承担着井下人员、矿石、设备的运输任务，是井下运输的主要方式之一。作为矿山运输的重要设备，井下电机车多行驶在照明条件差、多粉尘等恶略环境区域，给电机车安全运行带来了困难。井下机车的自动驾驶可以减少井下工作人员数量，从而降低因井下事故造成的人员伤亡，保障井下人员生命安全，经济效益与社会效益巨大。而且工人、落石、电机车、建设材料等障碍物不可避免的出现在电机车行驶区域。因此，矿用井下电机车障碍物检测成为解决电机车自动驾驶的重要手段。
[0003]因此，开发一种避障检测效果良好的矿下电机车障碍物智能视觉检测方法，成为本领域技术人员亟需解决的一个重要技术问题。

技术实现思路

[0004]本专利技术的目的在于针对现有深度学习电机车障碍物检测方法在电机车行驶过程中，存在检测速度慢、小目标检测精度低、漏检、错检等问题。提出了一种改进的YOLOv5(一种目标检测算法YOLO第版，为
‘
You only look once
’
的缩写，将图像划分为网格系统的对象检测算法，网格中的每个端元负责检测自身内的对象)模型，用于矿下电机车障碍物的检测。
[0005]为了达到上述目的，本专利技术提供的一种矿下电机车障碍物智能视觉检测方法，包括获取矿下电机车障碍物智能视觉检测模型，具体包括如下步骤：
[0006]步骤S1：采集影响电机车正常运行的障碍物的图像数据，并建立数据集，包括训练数据集及验证数据集，用于后续的模型训练，训练集用于训练模型，验证集用于验证训练好的模型；
[0007]步骤S2：基于改进的YOLOv5网络，构建矿下电机车障碍物检测模型；
[0008]步骤S3：利用步骤S1中的训练数据集及验证集，训练步骤S2中的矿下电机车障碍物检测模型，得到训练后的矿下电机车障碍物检测模型；
[0009]步骤S4：利用步骤S1中的验证数据集，对步骤S3中训练后的矿下电机车障碍物检测模型进行性能评估。
[0010]优选地，所述步骤S1具体包括以下步骤：
[0011]步骤S11：采集不同时间段影响电机车正常运行的障碍物视频，读取视频并对视频进行抽帧、清洗处理，以此得到图像数据作为原始图像数据，并建立原始图像数据集；
[0012]步骤S12：根据检测对象，对原始图像数据中包含的障碍物种类进行分类处理，得到不同障碍物种类的原始图片；在矿下电机车运输场景中，将检测对象分为大块煤炭、工
人、枕木、油桶、电机车、斗车这6类影响电机车安全运行的主要交通障碍；
[0013]步骤S13：根据不同的交通障碍，将各不同种类障碍物的原始图像数据通过标注软件labelImg(一个图形图像注释工具，开源的数据标注工具，一个可视化的图像标定工具)进行标注，得到6种不同的障碍物数据集，将每种障碍物数据集按8：2的比例划分为训练数据集与验证数据集。
[0014]优选地，所述步骤S2中，改进的YOLOv5网络具体包括：
[0015]步骤S21：通过引入注意力机制的方式对YOLOv5模型进行改进：在Neck网络(在backone和head网络之间，添加一些用于收集不同阶段中特征图的网络层)中添加CBAM(Convolutional Block Attention Module,卷积注意力机制模块)机制加强特征信息关联；卷积注意力机制模块包括两个子模块，通道注意模块和空间注意模块，分别执行特征注意和空间注意；具体为：
[0016]原图输入特征F∈R
C*H*W
通过通道注意模块M
C
，输出一维卷积M
C
∈R
C*1*1
,将一维卷积结果与原图输入特征F的相乘结果，作为空间注意模块输入特征图(F1)，二维卷积M
S
∈R
1*H*W
与原图相乘结果F1相乘得到最终输出结果，其数学表达式如下：
[0017]获取通道注意模块M
C
的输出特征图：M
C
(F)
[0018]获取空间注意模块M
S
的输入特征图：
[0019]获取最终输出结果：
[0020]其中，C表示通道，H表示图片高度，W表示图片宽度，R表示图片，M
C
表示通道注意力，S表示空间，M
S
表示空间注意力模块的二维卷积，M
C
表示通道注意模块的一维卷积，F1为通道注意模块输出特征图M
C
(F)与原图相乘结果，即空间注意模块的输入特征图，M
C
(F)表示对原图输入特征F通过通道注意模块的输出特征图，M
S
(F1)表示对空间注意模块M
S
的输入特征F1通过空间注意模块，所获得的的输出特征图。
[0021]优选地，获取所述通道注意模块M
C
的输出特征图M
C
(F)具体为：
[0022]通道注意模块M
C
将原图输入特征F映射压缩为空间维度上的一维向量，使用全局平均池化P
A
(F)和全局最大池化P
M
(F)来聚合空间映射的特征信息，并通过两层共享神经网络得到池化特征图后，对结果执行对应元素的加和操作，经过Sigmoid(一种常用的非线性激活函数，输出范围为(0,1)，常用于二分类概率计算)激活函数σ得到所述通道注意模块的输出特征图M
C
(F)；
[0023]通道注意模块获取输出特征图M
C
(F)的数学表达式为：
[0024]M
C
(F)＝σ(MLP(P
A
(F))+MLP(P
M
(F)))(3)；
[0025]式中，P
A
(F)代表对原图的特征F做平均池化操作，P
M
(F)代表对原图输入特征F做最大池化；σ(
·
)代表Sigmoid激活函数；MLP为多层感知机特征提取操作；
[0026]经过所述通道注意模块的输出特征图M
C
(F)与原图的输入特征F对应位置的元素相乘，生成空间注意模块的输入特征；如表达式(1)和(3)所示；
[0027]所述空间注意模块具体为：
[0028]空间注意模块在通道上将全局平均池化P
A
(F)和全局最大池化P
M
(F)结果串联起来，之后使用核大小为7*7的卷积层f进行降维操作，并经过Sigmoid激活函数σ得到空间注意特征图MS(F1)；用以下公式表示：
[0029]M
S
(F1)＝σ(f7×7([P
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种矿下电机车障碍物智能视觉检测方法，其特征在于，包括如下步骤：步骤S1：采集影响电机车正常运行的障碍物的图像数据，并建立数据集，包括训练数据集及验证数据集，用于后续的模型训练，训练集用于训练模型，验证集用于验证训练好的模型；步骤S2：基于改进的YOLOv5网络，构建矿下电机车障碍物检测模型；步骤S3：利用步骤S1中的训练数据集及验证集，训练步骤S2中的矿下电机车障碍物检测模型，得到训练后的矿下电机车障碍物检测模型；步骤S4：利用步骤S1中的验证数据集，对步骤S3中训练后的矿下电机车障碍物检测模型进行性能评估。2.根据权利要求1所述的一种矿下电机车障碍物智能视觉检测方法，其特征在于，所述步骤S1具体包括以下步骤：步骤S11：采集不同时间段影响电机车正常运行的障碍物视频，读取视频并对视频进行抽帧、清洗处理，以此得到图像数据作为原始图像数据，并建立原始图像数据集；步骤S12：根据检测对象，对原始图像数据中包含的障碍物种类进行分类处理，得到不同障碍物种类的原始图片；在矿下电机车运输场景中，将检测对象分为大块煤炭、工人、枕木、油桶、电机车、斗车这6类影响电机车安全运行的主要交通障碍；步骤S13：根据不同的交通障碍，将各不同种类障碍物的原始图像数据通过标注软件labelImg进行标注，得到6种不同的障碍物数据集，将每种障碍物数据集按8：2的比例划分为训练数据集与验证数据集。3.根据权利要求1中所述的一种矿下电机车障碍物智能视觉检测方法，其特征在于，所述步骤S2中，改进的YOLOv5网络具体包括：步骤S21：通过引入注意力机制的方式对YOLOv5模型进行改进：在Neck网络中添加CBAM机制加强特征信息关联；卷积注意力机制模块包括两个子模块，通道注意模块和空间注意模块，分别执行特征注意和空间注意；具体为：原图输入特征F∈R
C**
通过通道注意模块M
C
，输出一维卷积M
C
∈R
C**
,将一维卷积结果与原图输入特征F的相乘结果，作为空间注意模块输入特征图(F1)，二维卷积M
S
∈R
1**W
与原图相乘结果F1相乘得到最终输出结果，其数学表达式如下：获取通道注意模块M
C
的输出特征图：M
C
(F)获取空间注意模块M
S
的输入特征图：获取最终输出结果：其中，C表示通道，H表示图片高度，W表示图片宽度，R表示图片，M
C
表示通道注意力，S表示空间，M
S
表示空间注意力模块的二维卷积，M
C
表示通道注意模块的一维卷积，F1为通道注意模块输出特征图M
C
(F)与原图相乘结果，即空间注意模块的输入特征图，M
C
(F)表示对原图输入特征F通过通道注意模块的输出特征图，M
S
(F1)表示对空间注意模块M
S
的输入特征F1通过空间注意模块，所获得的的输出特征图。4.根据权利要求3所述的一种矿下电机车障碍物智能视觉检测方法，其特征在于，获取所述通道注意模块M
C
的输出特征图M
C
(F)具体为：通道注意模块M
C
将原图输入特征F映射压缩为空间维度上的一维向量，使用全局平均池
化P
A
(F)和全局最大池化P
M
(F)来聚合空间映射的特征信息，并通过两层共享神经网络得到池化特征图后，对结果执行对应元素的加和操作，经过Sigmoid激活函数σ得到所述通道注意模块的输出特征图M
C
(F)；通道注意模块获取输出特征图M
C
(F)的数学表达式为：M
C
(F)＝σ(MLP(P
A
(F))+MLP(P
M
(F)))

【专利技术属性】
技术研发人员：张细政，崔子健，侯英俊，卢张宇，袁小芳，申永鹏，张鸣，方偲忱，杨明昊，宋安然，
申请(专利权)人：湘潭南方电机车制造有限公司，
类型：发明
国别省市：