一种基于多信息融合的矿用机车行人检测方法技术

本发明专利技术提供了一种基于多信息融合的矿用机车行人检测方法，通过建立煤矿井下的可见光和红外光的行人数据集，并针对井下特殊环境对两类图像分别进行CLAHE有限对比适应性直方图均衡化及基于3阶布特沃斯函数的最佳陷波去噪方法处理，采用密集连接及多尺度池化结构对YOLOv3目标检测网络进行调整和改进，对两类图像的特征进行提取和融合，并采用交叉熵函数优化其损失函数，建立了模型，提高了模型在井下复杂环境下的准确度、实时性及稳定性，同时采用迁移学习的方法进一步提高了网络的训练精度，缩短了训练时间，从而使用训练得到的目标检测模型对行人目标进行检测，并实时输出矿用机车前方的行人检测结果，能够满足矿用机车行驶所需的检测速度。

A detection method of mine locomotive pedestrian based on multi information fusion

【技术实现步骤摘要】
一种基于多信息融合的矿用机车行人检测方法
本专利技术涉及煤矿井下检测
，尤其涉及一种基于多信息融合的矿用机车行人检测方法。
技术介绍
随着煤矿资源市场的持续高涨，井下的运输任务越发繁重。有数据显示，由于受作业环境粉尘、光照等因素的影响，矿井机车运输所造成的安全事故比率占总体事故的20％～30％。矿井机车运行过程中可能会由于司机的疲劳驾驶、操作不当或者矿工本身违规作业等原因造成运输事故的发生，给矿工的生命安全带来严重危害，同时也给矿业的生产效率带来重大损失。通常，在煤矿井下的机车上安装目标检测装置是减少事故发生的主要手段。而在图像获取阶段，单一可见光传感器易受光线影响，对细小颗粒的穿透性较差，难以适应井下复杂环境。而红外线传感器受暗光和粉尘的影响较小，可以很好地弥补可见光传感器的不足。并且目前的图像处理技术还存在处理精度和速度等不高的技术缺陷。表1可见光与红外线传感器对比因此，需要一种能充分将可见光和红外光两者的优势进行融合，结合卷积神经网络技术，将其应用到矿井机车行驶前方的行人目标检测中，以防止机车撞人事故的发生。
技术实现思路
为了解决上述问题，本专利技术提供一种基于多信息融合的矿用机车行人检测方法，能够解决现有可见光传感器在井下特殊环境易受光线、粉尘影响的不足，其适应性及抗干扰能力强，并进一步提高检测的精度及实时性。为实现上述目的，本专利技术提供了一种基于多信息融合的矿用机车行人检测方法，包括：步骤1，获取矿用机车前方的行人可见光和红外光视频，将其提取为图像，并分别对其采用CLAHE有限对比适应性直方图均衡化、最佳陷波去噪方法进行预处理，然后使用LabelImg软件对图像进行标注，再经过图像增强方法扩充数据集；步骤2，将数据集按8:1:1划分为训练集、交叉验证集和测试集，所述训练集用于模型训练，交叉验证集用于衡量模型性能进而选择最优参数，测试集用于模型的最终评估；且通过图像缩放方法将每种数据集扩充为多个尺度，用于后续的多尺度训练；步骤3，采用密集连接及多尺度池化结构对YOLOv3目标检测网络进行改进，并优化其损失函数；步骤4，采用迁移学习方法将YOLOv3目标检测网络已训练完成的前43层卷积的权重参数对改进后的YOLOv3目标检测网络的前43层卷积权重进行初始化；步骤5，调整训练参数，使用训练集对改进后的YOLOv3目标检测网络进行训练；步骤6，根据交叉验证集的检测结果，选择检测精度最高的模型作为最优模型，然后使用测试集对模型性能进行评估；步骤7，对评估结果进行分析，若性能未达到预期要求则再次执行步骤5，否则直接输出训练得到的目标检测模型；步骤8，使用训练得到的目标检测模型对再次获取的可见光和红外光视频进行检测，并实时输出矿用机车前方的行人检测结果。可选地，采用密集连接对YOLOv3目标检测网络进行改进，包括对网络中的52×52×256特征图进行跳跃连接，使其经调整后与后续的两个特征图26×26×512、13×13×512相叠加；然后26×26×512特征图与后续两个特征图13×13×512和26×26×256相叠加，而13×13×512特征图仅与后续一个特征图26×26×256相叠加。可选地，采用多尺度池化结构对YOLOv3目标检测网络进行改进，包括对网络中的13×13×512、26×26×256和52×52×128特征图分别通过4个不同尺度的池化层提取4个不同大小的特征图，使全局和子区域的上下文信息相结合，然后将该4个特征图与原始特征连结在一起，组成了最终的特征表达，进而卷积输出。可选地，所述优化其损失函数包括采用交叉熵损失函数定义类别损失，使模型更易拟合，即修改后的损失函数如下：(1)式中S表示网络大小，为13×13、26×26或52×52，B是候选框的数量，变量xi和yi为候选框中心点坐标，wi和hi分别为边界框的宽和高，Ci是预测物体的置信度，p(ij)是物体的类别，变量是预测值；表示网格i中存在对象；表示网格i中的边界框j中存在对象；表示网格i中的边界框j中不存在对象。可选地，所述通过图像缩放方法将每种数据集扩充为多个尺度为使用图像缩放方法将每幅图像缩放为10种尺寸：{320，352，384，416,448,480,512,544,576,608}。可选地，在步骤1中，对于可见光图像，采用CLAHE有限对比适应性直方图均衡化的方法对其进行处理；对于红外光图像，采用基于3阶布特沃斯函数的最佳陷波滤波器的滤波方法对其进行去噪处理。可选地，采用基于3阶布特沃斯函数的最佳陷波滤波器的滤波方法对红外图像进行去噪处理，包括：先将含周期噪声的红外光图像g(x,y)进行傅里叶变换，得到其频谱图像G(u,v)；在噪声尖峰位置放置一个5对3阶布特沃斯陷波带通滤波器H(u,v)，用于提取噪声的主要频率部分，其滤波器数学表达式为：其中，对于一个陷波，其中心点坐标为(uk,vk)，则距滤波器中心的距离为Dk(u,v)，而其关于原点对称的陷波的中心点坐标为(-uk,-vk)，距滤波器中心的距离为D-k(u,v)，W是频带的宽度，D0是频带的中心半径，k为自然数；提取到的噪声的频谱图像即可表示为：N(u,v)＝H(u,v)G(u,v)(3)；由噪声的频谱图像经傅里叶逆变换即可得到其相应的空间域图像n(x,y)：对噪声使用w(x,y)调制函数进行加权调整，然后使用空间域含噪声的红外图像减去调制后的噪声图像即可得到一个去噪图像的估计调制函数则通过最小化在每一点(x,y)的指定邻域(2a+1)(2b+1)上的方差的最小值，即：其中，s和t为变量，和分别为其函数的平均值。令其二阶导数为零，即可得到调制函数：最后通过步骤4即可得到去噪后的空间域红外图像。可选地，在步骤5中，通过设置不同的学习率、权重衰减系数和动量系数对改进后的YOLOv3目标检测网络进行训练，然后同时生成10个不同的模型。可选地，在步骤6中，在交叉验证集上对该10个模型进行验证，分别得到其损失函数值，最小值所对应得那个模型即认定为最优模型。此外，本专利技术还提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述基于多信息融合的矿用机车行人检测方法。本专利技术的优点和有益效果在于：相比现有的矿用机车行人检测技术，本专利技术提供了一种基于多信息融合的矿用机车行人检测方法，具有如下优点：(1)利用多传感器融合技术，弥补了单一可见光传感器的不足，能够适应煤矿井下复杂环境。(2)对于可见光，采用CLAHE有限对比适应性直方图均衡化的方法对可见光图像进行处理，有效地解决了暗光条件下可见光图像细节表现较弱的问题。(3)对于红外图像，采用基于3阶布特沃斯函本文档来自技高网...

【技术保护点】
1.一种基于多信息融合的矿用机车行人检测方法，其特征在于，包含以下步骤：/n步骤1，获取矿用机车前方的行人可见光和红外光视频，将其提取为图像，并分别对其采用CLAHE有限对比适应性直方图均衡化、最佳陷波去噪方法进行预处理，然后使用LabelImg软件对图像进行标注，再经过图像增强方法扩充数据集；/n步骤2，将数据集按8:1:1划分为训练集、交叉验证集和测试集，所述训练集用于模型训练，交叉验证集用于衡量模型性能进而选择最优参数，测试集用于模型的最终评估；且通过图像缩放方法将每种数据集扩充为多个尺度，用于后续的多尺度训练；/n步骤3，采用密集连接及多尺度池化结构对YOLOv3目标检测网络进行改进，并优化其损失函数；/n步骤4，采用迁移学习方法将YOLOv3目标检测网络已训练完成的前43层卷积的权重参数对改进后的YOLOv3目标检测网络的前43层卷积权重进行初始化；/n步骤5，调整训练参数，使用训练集对改进后的YOLOv3目标检测网络进行训练；/n步骤6，根据交叉验证集的检测结果，选择检测精度最高的模型作为最优模型，然后使用测试集对模型性能进行评估；/n步骤7，对评估结果进行分析，若性能未达到预期要求则再次执行步骤5，否则直接输出训练得到的目标检测模型；/n步骤8，使用训练得到的目标检测模型对再次获取的可见光和红外光视频进行检测，并实时输出矿用机车前方的行人检测结果。/n...

【技术特征摘要】
1.一种基于多信息融合的矿用机车行人检测方法，其特征在于，包含以下步骤：
步骤1，获取矿用机车前方的行人可见光和红外光视频，将其提取为图像，并分别对其采用CLAHE有限对比适应性直方图均衡化、最佳陷波去噪方法进行预处理，然后使用LabelImg软件对图像进行标注，再经过图像增强方法扩充数据集；
步骤2，将数据集按8:1:1划分为训练集、交叉验证集和测试集，所述训练集用于模型训练，交叉验证集用于衡量模型性能进而选择最优参数，测试集用于模型的最终评估；且通过图像缩放方法将每种数据集扩充为多个尺度，用于后续的多尺度训练；
步骤3，采用密集连接及多尺度池化结构对YOLOv3目标检测网络进行改进，并优化其损失函数；
步骤4，采用迁移学习方法将YOLOv3目标检测网络已训练完成的前43层卷积的权重参数对改进后的YOLOv3目标检测网络的前43层卷积权重进行初始化；
步骤5，调整训练参数，使用训练集对改进后的YOLOv3目标检测网络进行训练；
步骤6，根据交叉验证集的检测结果，选择检测精度最高的模型作为最优模型，然后使用测试集对模型性能进行评估；
步骤7，对评估结果进行分析，若性能未达到预期要求则再次执行步骤5，否则直接输出训练得到的目标检测模型；
步骤8，使用训练得到的目标检测模型对再次获取的可见光和红外光视频进行检测，并实时输出矿用机车前方的行人检测结果。


2.如权利要求1所述的方法，其特征在于，采用密集连接对YOLOv3目标检测网络进行改进，包括对网络中的52×52×256特征图进行跳跃连接，使其经调整后与后续的两个特征图26×26×512、13×13×512相叠加；然后26×26×512特征图与后续两个特征图13×13×512和26×26×256相叠加，而13×13×512特征图仅与后续一个特征图26×26×256相叠加。


3.如权利要求1所述的方法，其特征在于，采用多尺度池化结构对YOLOv3目标检测网络进行改进，包括对网络中的13×13×512、26×26×256和52×52×128特征图分别通过4个不同尺度的池化层提取4个不同大小的特征图，使全局和子区域的上下文信息相结合，然后将该4个特征图与原始特征连结在一起，组成了最终的特征表达，进而卷积输出。


4.如权利要求1所述的方法，其特征在于，所述优化其损失函数包括采用交叉熵损失函数定义类别损失，使模型更易拟合，即修改后的损失函数如下：



式中S表示网络大小，为13×13、26×26或52×52，B是候选框的数量，变量xi和yi为候选框中心点坐标，wi和hi分别为边界框的宽和高，Ci是预测物体的置信度，p(ij)是物体的类别，变量是其预测值，；

表示网格i中存在对象；

【专利技术属性】
技术研发人员：张传伟，罗坤鑫，陈黎明，夏占，卢强，
申请(专利权)人：西安科技大学，
类型：发明
国别省市：陕西;61