一种基于深度学习算法的矿下人员检测方法技术

本发明专利技术公开了一种基于深度学习算法的矿下人员检测方法，涉及目标检测技术领域。本发明专利技术包括如下步骤：1）获取矿下监控视频；2）根据步骤1）获取的矿下监控视频得到矿下人员监控图像，对所述矿下人员监控图像进行亮度增强；3）基于YOLOX网络，获取矿下人员的检测结果。步骤2）：对矿下监控视频进行帧切割，获得暗光图像，对暗光图像内的人员和设备信息进行标注，得到矿下人员监控图像；使用基于U

【技术实现步骤摘要】
一种基于深度学习算法的矿下人员检测方法


[0001]本专利技术涉及目标检测
，具体为一种基于深度学习算法的矿下人员检测方法。

技术介绍

[0002]目标检测是深度学习中一项非常重要的技术，自2014年R
‑
CNN提出以来，基于深度学习的目标检测技术飞速发展，同时也是智能监控系统的核心算法，以及图像处理和计算机视觉学科的重要分支。
[0003]目标检测技术从阶段上分为两种，单阶段和双阶段，双阶段的核心思想是提出proposal框，通过第一阶段的网络回归出目标框的大概位置、大小及是前景的概率，第二阶段是通过另一个网络回归出目标框的位置、大小及类别；而单阶段网络的核心思想是，通过网络直接回归出图像中的目标大小、位置和类别。单阶段由于具有检测速度快、精度高等特性，往往在实际生产环境中应用更加广泛。
[0004]YOLOX是著名单阶段目标检测算法YOLO的改进型版本，主要提升了原YOLOv3网络的数据增强能力，增加了Head阶段的解耦，并且改进了标签分配策略。在这些改进实现的前提下，依然能够执行端到端的检测。
[0005]暗图像增强算法用于增强图像中的有用信息，其目的是要改善图像的视觉效果。目前基于神经网络的图像增强常用算法有：SRIE算法、LIME算法、RetinexNet算法和EnlightenGAN算法等，随着技术的发展，算法也在不断地改进。
[0006]目前矿下人员检测算法以煤矿井下摄像仪的实时视频图像数据和图像智能识别技术为核心，主要利用性能更好的摄像设备尝试解决矿下可视性差的难题，但这种解决方式的成本较高。而矿下人员的检测也可以被认为是目标检测下的一个具体应用，但是以深度学习端到端实现亮度增强和人员检测的算法还未真正应用于矿下人员的检测中，因此将可以将该方法应用于矿下人员。

技术实现思路

[0007]本专利技术为了解决现有的目标检测技术中，深度学习算法还未应用于矿下人员的检测的问题，提供了一种基于深度学习算法的矿下人员检测方法。
[0008]本专利技术是通过如下技术方案来实现的：一种基于深度学习算法的矿下人员检测方法，包括如下步骤：
[0009]1)获取矿下监控视频；
[0010]2)根据步骤1)获取的矿下监控视频得到矿下人员监控图像，对所述矿下人员监控图像进行亮度增强；
[0011]①
获得矿下人员监控图像的方法为：对所述矿下监控视频进行帧切割，获得暗光图像，对暗光图像内的人员和设备信息进行标注，得到矿下人员监控图像。
[0012]②
使用基于U
‑
Net结构的深度学习网络对矿下人员监控图像进行亮度增强，暗光
图像增强算法的主要任务是对在井下恶劣环境下采集到的图像数据进行处理，提升图像质量和清晰度，辅助目标检测算法进行检测；目标检测算法的主要任务是计算分析当前输入图像中的人员信息，划定危险区域，并对处于危险区域中的人员进行警告；亮度增强后得到基于矿下监控视频的训练集；所述训练集包括第一公开数据集，所述第一公开数据集包括矿下人员图像与标签；所述训练集还包括第二私有数据集，所述第二私有数据集包括经亮度增强后的矿下人员图像，并由专业人员标定标签，所述标签包括人员标签。
[0013]③
所述暗光图像通过语义分割基于U
‑
Net结构的深度学习网络进行亮度增强，所述深度学习网络的上采样层为反卷积层替代，所述深度学习网络的卷积层使用空洞卷积，所述深度学习网络还包括亮度评估层，所述亮度评估层对深度学习网络最后一层卷积得到的特征进行分组，并根据特征分组计算时空一致性和色彩一致性图像参数，在亮度评估层使用图像亮度曲线评估函数的公式为，
[0014]A＝A+α(1
‑
A)；
[0015]其中，A表示给定输入；α表示像素梯度，用于控制曝光水平，并且α的取值范围为[
‑
1，1]。
[0016]本专利技术的暗光图像增强算法基于U
‑
Net改进，但其中的上采样层被反卷积层替代，卷积层被空洞卷积替代，在输出后增加由亮度曲线评估函数组成的亮度评估层。
[0017]3)基于YOLOX网络，获取矿下人员的检测结果：
[0018]①
所述YOLOX网络包含Backbone组件、Neck组件和DecoupleHead组件；所述Backbone组件包含依次连接的CBL模块、CSP模块和SPP模块，用于提取图像特征；所述Neck组件包含CBL模块、Cat模块和DeConv模块，用于提供不同尺度的特征；所述DecoupleHead组件包含CBL模块和Decouple模块，用于对提取的特征进行降维，生成边界框并预测类别。所述Backbone组件中还包含卷积层、归一化层、激活层、上采样层池化层和残差链接；所述Neck组件还包含上采样层。
[0019]本专利技术对Neck层进行了结构优化，主要的改动是使用反卷积层代替上采样层对小尺度特征进行上采样，这种改动能够更好的对感受野中较小尺寸的目标进行预测，从而提高预测准确率。此外，矿井下掘进工作空间光照度低、光照情况复杂多变，并且掘进过程中煤尘、水雾浓度大，这种工作环境可视度低。
[0020]②
使用具有边缘检测能力的损失函数对所述YOLOX网络进行训练，其中公式为，
[0021][0022]其中，L表示具有边缘检测能力的损失函数；表示初步分类损失；表示初步定位损失；表示边界预测结果与真实数据之间的分类损失；表示边界预测结果与真实数据之间的定位损失；P
B
表示预测的边界分类分数；C
*
表示真实边界框；表示正样本数量平均损失。
[0023]加强边缘检测的损失函数能够增强对算法可视范围内物体的轮廓检测，而在井下暗光环境中，光遮挡或者物体反射光产生的轮廓较容易被摄录设备捕捉，加之热成像的颜色变化梯度较大，所以补充边缘检测能力可以对算法的检测准确率有较大提升。经过测试，
在加入边缘检测损失之后，对于矿下人员的目标检测有显著提升，对于使用热成像和RGB图像联合检测的目标检测任务的精确度提升最为明显。
[0024]本专利技术的步骤2)和步骤3)分别对应暗光图像增强算法和目标检测算法，暗光图像增强算法是一种基于U
‑
Net改进的图像增强算法，内部有反卷积、空洞卷积和亮度曲线评估函数完成图像的亮度增强，并且保留原图像的色彩一致，利用图像感知指数函数作为损失函数，约束图像亮度增强程度，最后通过井下图像训练暗光图像增强算法的权重；目标检测算法是一种改进的YOLOX算法，其由Backbone组件、Neck组件和DecoupleHead组件组成，分别能够实现提取特征、丰富特征尺度以及降维预测功能，主要改进在Neck组件的上采样部分，利用反卷积代替双线性插值等上采样方法；此外，还基于井下环境，对损失函数进行了修改。
[0025]为实现上述过程，本专利技术还提供了一种基于深度学习算法的矿下人员检测系统，包括矿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习算法的矿下人员检测方法，其特征在于：包括如下步骤：1)获取矿下监控视频；2)根据步骤1)获取的矿下监控视频得到矿下人员监控图像，对所述矿下人员监控图像进行亮度增强；3)基于YOLOX网络，获取矿下人员的检测结果。2.根据权利要求1所述的一种基于深度学习算法的矿下人员检测方法，其特征在于：步骤2)中，获得矿下人员监控图像的方法为：对所述矿下监控视频进行帧切割，获得暗光图像，对暗光图像内的人员和设备信息进行标注，得到矿下人员监控图像。3.根据权利要求2所述的一种基于深度学习算法的矿下人员检测方法，其特征在于：步骤2)中，使用基于U
‑
Net结构的深度学习网络对矿下人员监控图像进行亮度增强，得到基于矿下监控视频的训练集；所述训练集包括第一公开数据集，所述第一公开数据集包括矿下人员图像与标签；所述训练集还包括第二私有数据集，所述第二私有数据集包括经亮度增强后的矿下人员图像，并由专业人员标定标签，所述标签包括人员标签。4.根据权利要求3所述的一种基于深度学习算法的矿下人员检测方法，其特征在于：步骤2)中，所述暗光图像通过语义分割基于U
‑
Net结构的深度学习网络进行亮度增强，所述深度学习网络的上采样层为反卷积层替代，所述深度学习网络的卷积层使用空洞卷积，所述深度学习网络还包括亮度评估层，所述亮度评估层对深度学习网络最后一层卷积得到的特征进行分组，并根据特征分组计算时空一致性和色彩一致性图像参数，在亮度评估层使用图像亮度曲线评估函数的公式为，A＝A+α(1
‑
A)；其中，A表示给定输入；α表示像素梯度，用于控制曝光水平，并且α的取值范围为[
‑
1，1]。5.根据权利要求1所述的一种基于深度学习算法的矿下人员检测方法，其特征在于：步骤3)中，所述YOLOX网络包含Backbone组件、Neck组件和DecoupleHead组件；所述Backbone组...

【专利技术属性】
技术研发人员：葛阳，朱家辉，杨乐，陶磊，刘峰，王宏伟，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：