一种基于深度神经网络的煤矿井壁裂缝识别方法技术

本发明专利技术公开一种基于深度神经网络的煤矿井壁裂缝识别方法，数据收集模块从矿井井下机器人采集数据收集图像数据；对井下机器人采集的图像信息使用图像增强算法进行增强；获取煤矿井壁裂缝目标图像、剔除低质裂缝图像、对图像中的裂缝目标进行标注，构建成煤矿井壁裂缝数据集；将数据集构建模块所建立的井壁裂缝数据集送入改进Efficientdet模型训练模块进行训练，将待检测的裂缝图像输入到改进Efficientdet模型中进行检测，生成最终的检测结果；本发明专利技术改进了Efficientdet模型，在现有的模型的基础上增加多空间视角融合模块和三元坐标注意力模块，使得该模型可以克服复杂的煤矿井下环境干扰并且解决细小裂缝漏检问题，提升检测精度。提升检测精度。提升检测精度。

【技术实现步骤摘要】
一种基于深度神经网络的煤矿井壁裂缝识别方法


[0001]本专利技术涉及图像识别检测
具体地说是一种基于深度神经网络的煤矿井壁裂缝识别方法，适用于煤矿井壁的安全隐患排查方面。

技术介绍

[0002]煤矿井壁裂缝对煤矿生产有着严重的影响，例如导致井下风流方向改变、地下水渗出、瓦斯聚集、煤层因缝隙补充氧气而自燃、塌方等事故。从安全和维护角度考虑，及时快速识别和修复裂缝有助于增大煤矿安全系数、降低维护成本和减少损失。然而由于煤矿井下光照条件较差、裂缝尺寸较小等原因，导致井壁裂缝难以被发现，因此如何高效的检测井壁裂缝越来越受到煤矿产业的关注。人工煤矿井壁裂缝检测通常需要专业人员下井勘探，这种方式不仅效率低下、成本高、容易漏检，并且还伴随着安全上的隐患。因此利用井下机器人代替人工是一种有效且安全的方式。
[0003]传统的裂缝检测算法通常都基于经典的数字图像处理方法，例如采用多种边缘检测算子Sobel和Robetrs等。这些经典方法适用场合十分有限，当用来识别背景复杂的煤矿井壁裂缝检测时，很难获得准确的结果。随着深度学习的兴起，许多深度神经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的煤矿井壁裂缝识别方法，其特征在于，包括如下步骤：步骤100：数据收集模块(102)从矿井井下机器人采集数据(101)中按照时间顺序收集原始煤矿井壁裂缝视频数据和原始煤矿井壁裂缝图像数据，将原始煤矿井壁裂缝视频数据切分成一帧一帧的切分井壁裂缝图像数据，并将切分井壁裂缝图像数据与原始煤矿井壁裂缝图像数据保存到数据收集模块(102)；步骤200：数据处理增强模块(103)获取数据收集模块(102)收集的井壁裂缝图像数据，并人工手动剔除质量差的井壁裂缝图像数据、剔除无裂缝的图像数据；将筛选过后的井壁裂缝图像数据进行数据增强；步骤300：将使用数据处理增强模块(103)处理后得到优质井壁裂缝图像数据，输入到数据集构建模块(104)中；对优质井壁图像数据进行手动标注裂缝区域；将标注完成的图像数据按照比例分成训练集与测试集，完成井壁裂缝数据集的构建；步骤400：将数据集构建模块(104)所建立的井壁裂缝数据集送入改进Efficientdet模型训练模块(105)进行训练学习，将训练过程中测试集裂缝检测精度最高的权重模型保存，用以检测待检的井壁裂缝图像；步骤500：将待检测的井壁裂缝图像送入到结果检测模块(106),由步骤400获取的裂缝检测精度最高的权重模型进行检测，展示检测结果并保存。2.根据权利要求1所述的一种基于深度神经网络的煤矿井壁裂缝识别方法，其特征在于，步骤200中构建的数据增强处理模块包括以下子步骤：步骤210：首先对于收集到的井壁裂缝图像数据进行人工筛选，剔除由于井下机器人移动导致的模糊井壁裂缝图像和采集到的正常无裂缝图像；筛选过后的井壁裂缝图像数据大于等于800张；步骤220：采用albumentations库函数中的CLAHE算法进行图像的对比度增强，使得经过对比度增强处理后的井壁裂缝图像数据被深度神经网络检测；步骤230：为了扩充数量有限的数据库并且训练出鲁棒性强的检测模型，对人工筛选过后的优质井壁裂缝图像数据进行数据增广，将优质井壁裂缝图像数据进行水平/垂直翻转、旋转、缩放、裁剪、剪切和平移处理。3.根据权利要求1所述的一种基于深度神经网络的煤矿井壁裂缝识别方法，其特征在于，在步骤300数据集构建模块(104)中，包括以下步骤：步骤310：将图像数据扩增广的扩增井壁裂缝图像数据按照8：2的比例划分成训练集与测试集；其中训练集是用来训练模型，测试集是用来测试模型的检测精度；步骤320：利用Label Img软件分别标注划分完成的井壁裂缝图像中存在的裂缝区域，标注时要注意标注框内避免存在干扰物体，必要时将较长的井壁裂缝分成若干进行分段标注。4.根据权利要求1所述的一种基于深度神经网络的煤矿井壁裂缝识别方法，其特征在于，步骤400改进Efficienedet模型训练模块，包括以下步骤：步骤410：构建改进的主干特征提取网络：改进的主干特征提取网络中加入多空间视角融合模块和三元坐标注意力模块，多层次特征的前三层依旧是由Efficient的不同深度的特征层构成，分别命名为：P3,P4,P5；后两层的特征分别为：由P5经过多空间视角融合模块和上采样形成P6；由P6经过多空间融合块和上采样形成P7；
步骤420：将步骤410构建的多层次主干特征P3,P4,P5,P6,P7送入三元坐标注意力模块以形成改进的多层次主干特征P3′
,P4′
,P5′
,P6′
,P7′
；步骤430：将改进的多层次主干特征P3′
,P4′
,P5′
,P6′
,P7′
送入加强特征提取网络BiFPN，通过将改进的多层次特征相互融合以获取更全面的多层次加强特征P3″
,P4″
,P5″
,P6″
,P7″
；步骤440：将多层次加强特征P3″
,P4″
,P5″
,P6″
,P7″
送入解码器Class Prediction Net和Box Prediction Net获取预测的目标类别和预测框的位置；步骤450：将步骤440中获取的预测框的位置与标注的井壁裂缝数据集带有的真实预测框输入至公式(1)中计算损失值；L＝αL
ce
+βL
focal
ꢀꢀꢀ
(1)其中α,β为超参数，α,β均设为0.5；L
ce
为二元交叉熵损失函数，L
focal
为focal损失函数，二者的计算方式如下：L
ce
＝
‑
ylog(p)
‑
(1
‑
y)log(1
‑
p)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)L
focal
＝
‑
y(1
‑
p)
γ
log(p)
‑
(1
‑
y)p
γ
log(1
‑
p)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，式(2)和式(3)中，y表示数据真实标签值；p表示模型预测标签值；γ表示权重参数，通常设为2；步骤460：通过步骤450计算出的损失值进行反向传播...

【专利技术属性】
技术研发人员：付文俊，张亮，
申请(专利权)人：北京中煤矿山工程有限公司，
类型：发明
国别省市：