一种对于矿山挖掘环境的多目标检测方法技术

本发明专利技术公开了一种对于矿山挖掘环境的多目标检测方法，属于目标检测技术领域。现有的目标检测方法在粉尘、雨雾等视野较差的恶劣矿山挖掘环境下会出现目标检测困难、检测效率不高的问题，为了解决该问题，本发明专利技术基于Yolov5算法对采用的神经网络进行了改进，使用SPPF层替换了SPP层，添加了轻量化ECA注意力机制，在保留了原算法推理速度快和轻巧的基础上提高了性能，使神经网络更加关注检测目标，提高了检测效果，能够满足对于矿山挖掘恶劣环境下的多目标检测任务。多目标检测任务。多目标检测任务。

【技术实现步骤摘要】
一种对于矿山挖掘环境的多目标检测方法


[0001]本专利技术涉及挖掘机目标检测
，特别是涉及到一种对于矿山挖掘环境的多目标检测方法。

技术介绍

[0002]矿山作业开采是世界矿产的主要开采方式之一。由于矿山作业现场环境恶劣，在大量的粉尘以及噪声下长时间高强度工作严重危害了挖掘装备操作人员的身心健康，且因操作人员经验不足操作不当导致的低效作业与安全事故频发，因此矿山作业对于挖掘设备自动化、无人化的需求日益迫切。其中在矿山挖掘环境下的多目标检测方法是其能实现自动化、无人化作业的重要基础。
[0003]随着深度学习在视觉领域的广泛应用，越来越多先进的算法可被用于进行多目标检测。基于深度学习的目标检测算法包括基于候选区域的two
‑
stage和基于回归的one
‑
stage算法两大类。前者的经典方法有R
‑
CNN、Fast R
‑
CNN、Faster R
‑
CNN,后者的经典方法有YOLO、SSD等。本专利技术针对粉尘、雨雾等视野较差的恶劣矿山挖掘环境下目标检测困难、检测效率不高的问题，提出了一种基于yolov5算法的矿山挖掘环境下目标检测方法，yolov5具有很快的推理速度和轻巧的网络结构，能够快速准确的完成矿山挖掘环境下的多目标检测任务。

技术实现思路

[0004]针对现有技术目标检测困难、低效的不足，本专利技术提出了一种对于矿山挖掘环境的多目标检测方法，技术方案如下：
[0005]一种对于矿山挖掘环境的多目标检测方法，包括以下步骤：
[0006]S1、自制挖掘环境数据集并对自制挖掘环境数据集进行预处理；
[0007]S2、利用标注工具对每幅图像进行标注并将数据集划分为训练集和测试集；
[0008]S3、搭建YOLOv5网络模型并修改网络模型；
[0009]所述yolov5网络模型包括input模块，backbone模块，neck模块和output模块；所述的backbone模块的结构为：第一conv卷积层、第二conv卷积层、第一C3特征提取层、第三conv卷积层、第二C3特征提取层、第四conv卷积层、第三C3特征提取层、第五conv卷积层、第四C3特征提取层、ECA注意力机制层和SPPF层依次连接构成。
[0010]通过该模块对自制挖掘环境数据集进行特征提取，得到三个尺寸的特征图，三个尺寸的特征图分别由第二C3特征提取层、第三C3特征提取层和SPPF层输出并送入neck模块进行融合；
[0011]所述的neck模块的结构为：第一conv卷积层、第一上采样层、第一融合层，第一C3特征提取层，第二conv卷积层、第二上采样层、第二融合层、第二C3特征提取层，第三conv卷积层、第三融合层、第三C3特征提取层、第四conv卷积层、第四融合层和第四C3特征提取层依次连接构成；
[0012]backbone模块中SPPF层的特征图送入neck模块第一conv卷积层；neck模块中第一conv卷积层的特征图通过第一上采样层上采样后与backbone模块第三C3特征提取层的特征图在第一融合层融合，并且还送入第四融合层与第四conv卷积层的特征图融合；neck模块第二conv卷积层的特征图通过第二上采样层上采样后与backbone模块第二C3特征提取层的特征图在第二融合层融合，并且还送入第三融合层与第三conv卷积层的特征图融合；
[0013]通过对送入的三个尺寸的特征图进行多尺度融合输出三个预测特征图；第二C3特征提取层输出第三预测特征图、第三C3特征提取层输出第二预测特征图和第四C3特征提取层输出第一预测特征图；
[0014]所述output模块包括三个conv卷积层，对neck模块输出的三个预测特征图分别进行卷积，输出三个特征，
[0015]S4、将训练集送入修改的YOLOV5网络模型中进行迭代训练，得到矿山环境下目标检测模型，输出相应的目标检测框、识别类型和像素坐标；
[0016]进一步的，所述步骤S1具体内容如下：
[0017]通过网络爬虫、拍摄以及相机拍取连续的视频，的自制挖掘环境数据集包括光照、夜晚、粉尘、雨雾条件下的矿山挖掘图片。
[0018]所诉步骤S2具体内容如下：
[0019]采用的标注工具为labelimg标注工具，进行标记过后会变为VOC格式，标注生成.xml后缀的文件，yolov5训练所需要的文件格式是yolo格式，采用.txt后缀，因此把.xml后缀的标签文件转换为.txt后缀文件，再将其分为训练集和测试集。
[0020]所述步骤S3具体内容如下：
[0021]backbone模块中原来的SPP层改为SPPF层，对SPP层使用的5
×
5，9
×
9，13
×
13三个大尺寸池化核采用多个小尺寸池化核进行替代；所述的9
×
9池化核替换成两个5
×
5池化核，13
×
13池化核替换成3个5
×
5池化核。
[0022]所述的SPPF层依次经过第一conv卷积层、MaxPool最大池化层，concat连接层，第二conv卷积层；其中MaxPool最大池化层包含四条并行的通道，四条并行的通道分别如下：第一条进行一个5
×
5大小池化核的最大池化操作，第二条为两个5
×
5大小池化核的最大池化操作，第三条为三个5
×
5大小池化核的最大池化操作，第四条不进行任何操作；四条通道再进行concat连接和第二conv卷积层输出第三特征图送入neck模块。
[0023]backbone模块在原有网络的基础上添加了一个轻量化ECA注意力机制层，将输入的特征图经过全局平均池化特征图从[h,w,c]的矩阵变成[1,1,c]的向量，根据特征图的通道数计算得到自适应的一维卷积核大小kernel_size，将kernel_size用于一维卷积中，得到对于特征图的每个通道的权重，将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图。
[0024]卷积核的大小通过一个自适应函数求得：
[0025][0026]kernel_size为卷积核大小，c为通道数，∣∣odd表示kernel_size只能取奇数,γ＝2,b＝1
[0027]所述步骤S4具体内容如下：
[0028]输入640像素
×
640像素图片尺寸，训练批次大小设置为batch
‑
size＝4，训练迭代次数epochs＝100；通过输入最佳权重和测试图片得到测试结果.
[0029]与现有技术相比，本专利技术的有益效果在于：
[0030]1、本专利技术所述的一种对于矿山挖掘环境的多目标检测方法，能够对矿山挖掘环境中的多个目标同时进行识别，包括挖掘机、卡车、物料等，并计算出各目标的像素坐标，能够得到各目标的相对位置关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对于矿山挖掘环境的多目标检测方法，包括以下步骤：S1、自制挖掘环境数据集并对自制挖掘环境数据集进行预处理；S2、利用标注工具对每幅图像进行标注并将数据集划分为训练集和测试集；S3、搭建YOLOv5网络模型并修改网络模型；S4、将训练集送入修改的YOLOV5网络模型中进行迭代训练，得到矿山环境下目标检测模型，输出相应的目标检测框、识别类型和像素坐标；其中，所述YOLOV5网络模型包括input模块，backbone模块，neck模块和output模块；所述的backbone模块的结构为：第一conv卷积层、第二conv卷积层、第一C3特征提取层、第三conv卷积层、第二C3特征提取层、第四conv卷积层、第三C3特征提取层、第五conv卷积层、第四C3特征提取层、ECA注意力机制层和SPPF层依次连接构成。通过该模块对自制挖掘环境数据集进行特征提取，得到三个尺寸的特征图，三个尺寸的特征图分别由第二C3特征提取层、第三C3特征提取层和SPPF层输出并送入neck模块进行融合；所述的neck模块的结构为：第一conv卷积层、第一上采样层、第一融合层，第一C3特征提取层，第二conv卷积层、第二上采样层、第二融合层、第二C3特征提取层，第三conv卷积层、第三融合层、第三C3特征提取层、第四conv卷积层、第四融合层和第四C3特征提取层依次连接构成；backbone模块中SPPF层的特征图送入neck模块第一conv卷积层；neck模块中第一conv卷积层的特征图通过第一上采样层上采样后与backbone模块第三C3特征提取层的特征图在第一融合层融合，并且还送入第四融合层与第四conv卷积层的特征图融合；neck模块第二conv卷积层的特征图通过第二上采样层上采样后与backbone模块第二C3特征提取层的特征图在第二融合层融合，并且还送入第三融合层与第三conv卷积层的特征图融合；通过对送入的三个尺寸的特征图进行多尺度融合输出三个预测特征图；第二C3特征提取层输出第三预测特征图、第三C3特征提取层输出第二预测特征图和第四C3特征提取层输出第一预测特征图；所述output模块包括三个conv卷积层，对neck模块输出的三个预测特征图分别进行卷积。2.根据权利要求1所述的对于矿山挖掘环境的多目标检测方法，其特征在于，步骤S1具体内容如下：...

【专利技术属性】
技术研发人员：兰璐，苏发，赵克利，冯晨龙，王继新，
申请(专利权)人：吉林大学，
类型：发明
国别省市：